[반도체] HBM에 대해서

HBM이 뭐길래??

SK하이닉스가 연봉의 95%나 되는 보너스를 받게 되는걸까??

 

엔비디아가 AI의 열풍을 타고 엄청나게 상승했다는 것은,

인터넷으로 정보를 접근 할 수 있는 모든 사람이 알 수 있었을 것 입니다. 

그래프 미쳤구요..

 

그럼 왜 엔비디아가 고속상승을 했을까? 에 대해서 생각을 해 봐야 할 것 같습니다.

GPT에게 cuda가 매출을 어떻게 성장했는지 물어보니, 아래와 같이 대답해주었습니다.

 

엔비디아(NVIDIA)의 매출 상승은 주로 CUDA(Compute Unified Device Architecture)의

성공적인 도입과 활용 덕분입니다.

CUDA는 엔비디아가 개발한 GPU를 활용한 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델로,

다음과 같은 이유로 엔비디아의 성장을 견인했습니다:

---

1. AI와 머신러닝의 폭발적 성장

• AI와 머신러닝 모델은 방대한 양의 데이터를 처리하기 위해 병렬 연산을 필요로 합니다.
• CUDA는 엔비디아 GPU의 병렬 연산 성능을 극대화할 수 있는 도구를 제공하여, AI 연구자와 기업이 이를 효과적으로 활용하도록 지원했습니다.
• 결과적으로, 엔비디아의 GPU는 AI 및 머신러닝 분야에서 표준 플랫폼이 되었고, 관련 매출이 크게 증가했습니다.

---

2. 소프트웨어 생태계 구축

• CUDA는 엔비디아 GPU를 효율적으로 사용하는 애플리케이션 개발을 쉽게 만들어줍니다.
• 연구자와 개발자가 AI, 딥러닝, 과학 계산, 게임 개발 등 다양한 분야에서 CUDA를 사용하여 소프트웨어를 개발하자, 엔비디아 하드웨어에 대한 의존성이 증가했습니다.
• CUDA 생태계 덕분에 경쟁사 GPU보다 엔비디아 GPU가 선택될 가능성이 커졌습니다.

☞ 결국 AI를 활용한 무언가를 진행하기 위해서는 CUDA 시스템을 사용해야 하는데 그러기 위해서는 필수적으로 엔비디아의 칩들이 사용이 된다는 의미.

CUDA 기사

생태계를 집어 삼키셨습니다...ㄷㄷ

인텔과 엔비디아의 흥망성쇠의 차이에 대해서.. CPU vs GPU

 

그런데 HBM은 뭐임?? 이러고 하면

‘진짜’ 빠르게 GPU 보조할 D램 == 'HBM'

HBM의 정의에 대해서 아래와 같습니다.

HBM(High Bandwidth Memory)은 고성능 컴퓨팅 및 그래픽 처리를 위한 메모리 기술로,

기존의 DDR 및 GDDR 메모리에 비해 더 높은 대역폭을 제공하도록 설계되었습니다.

HBM은 특히 고성능 GPU, AI 가속기, 데이터 센터 및 슈퍼컴퓨터에서 널리 사용됩니다.

아래는 HBM 기술의 주요 특징 및 구조를 그림과 함께 설명합니다.

---

HBM의 주요 특징

1. 높은 대역폭
   • 메모리와 프로세서 간의 데이터 전송 속도를 극대화하기 위해 설계되었습니다.
   • HBM은 1024비트 폭의 메모리 인터페이스를 제공하며, DDR이나 GDDR 메모리보다 훨씬 높은 대역폭을 달성합니다.
2. 3D 스택 구조
   • TSV(Through-Silicon Via) 기술을 사용해 메모리 칩을 위로 쌓아올린 구조를 채택하여 공간 효율성을 높입니다.
   • 각 층의 메모리 다이는 수직으로 연결되어 빠른 데이터 전송이 가능합니다.
3. 짧은 데이터 경로
   • HBM은 메모리와 프로세서를 같은 패키지(예: Si 인터포저) 안에 통합하여 데이터 전송 거리를 최소화합니다.
   • 이는 전력 소비를 줄이고 성능을 향상시킵니다.
4. 전력 효율성
   • 높은 대역폭에도 불구하고 전력 소모가 기존 GDDR 메모리보다 적습니다.

---

HBM 구조

1. HBM 모듈

HBM 모듈은 여러 메모리 다이(die)를 적층한 형태로, 각 다이는 TSV를 통해 서로 연결되어 있습니다. 아래는 HBM의 기본 구조입니다.

2. TSV (Through-Silicon Via)

TSV는 실리콘 웨이퍼를 수직으로 관통하는 전도체로, HBM의 각 메모리 층 간에 데이터를 전송하는 데 사용됩니다.

3. 인터포저 (Interposer)

HBM은 인터포저라는 실리콘 기반 중간층에 장착됩니다. 인터포저는 메모리와 프로세서를 연결하며, 데이터 전송 경로를 단축합니다.

4. 메모리 컨트롤러

HBM은 CPU나 GPU와 연결하기 위해 고도로 통합된 메모리 컨트롤러를 사용합니다.

---

HBM의 응용 분야

1. 그래픽 카드
   • AMD의 Radeon Vega 및 NVIDIA의 Tesla, Quadro 시리즈 등에서 HBM이 사용됩니다.
2. AI 및 머신러닝
   • AI 모델 훈련 및 추론을 위한 데이터 대역폭이 높은 환경에 적합합니다.
3. 슈퍼컴퓨터 및 데이터 센터
   • 대량의 데이터를 처리하는 고성능 컴퓨팅에 활용됩니다.

---

HBM 구조 그림 설명

1. 3D 스택 다이 구조
   • 메모리 다이가 TSV로 연결되어 있으며, 가장 아래는 인터포저로 구성됩니다.
2. 메모리와 CPU/GPU의 통합
   • 인터포저를 통해 HBM과 GPU가 단일 패키지로 배치됩니다.

 

위 그림은 HBM 기술의 3D 스택 구조를 나타낸 다이어그램입니다. 주요 구성 요소는 다음과 같습니다:

1. 메모리 다이: 여러 층으로 쌓여 있으며, 데이터 처리를 위한 기본 저장 공간을 제공합니다.
2. TSV (Through-Silicon Via): 메모리 다이 간 데이터 통신을 위한 수직 연결 기술입니다.
3. 인터포저: 메모리 다이와 GPU/프로세서를 연결하는 실리콘 중간층입니다.
4. GPU/프로세서: HBM의 데이터 처리 장치와 연결되어 높은 성능을 제공합니다.

 이 구조는 데이터 전송 경로를 단축하고 대역폭을 극대화하며 전력 효율성을 크게 향상시킵니다. HBM 기술은 고성능 컴퓨팅 및 그래픽 분야에서 핵심적인 역할을 합니다.

 

SK하이닉스의 MR-MUF vs 삼성전자의 TC-NCF방식??

해당기사 클릭

 

MR-MUF와 TC-NCF의 기술 비교

	MR-MUF	TC-NCF
장점	EMC라는 소재가 칩 사이에 빈 공간없이 채워지기 때문에 TC-NCF 대비 방열 효과가 우수. 추가 작업인 NCF의 접합 공정을 생략하는 만큼 상대적 생산 속도가 높고 불량률이 낮음	MR-MUF보다 접합 강도가 높고 외부충격이나 온도 변화에 더 강함
단점	외부 충격이나 온도 변화에 상대적으로 약함	생산속도 낮음. 불량률이 높음

 

삼성전자가 현재 수율이 안나오는 이유가 TC-NCF라는

필름형태의 물질을 제대로 컨트롤을 못하고 있는 것으로 파악됩니다.

HBM에 대해서는 현재 하이닉스가 앞서 있는데, 

삼성은 어떤 대책으로 따라잡을 것인지 궁금합니다. 

 

그럼 이만,,총총