HBM이란? 엔비디아는 왜 HBM이 필요한가?

기사 제목 : "HBM, 패키징 선도" 삼성전자, 대대적 조직개편

 

기사 내용 일부 (2024.07.04, 파이낸셜뉴스)

업계에 따르면 신임 HBM 개발팀장은 고성능 D램 제품 설계 전문가인 손영수 메모리 디자인플랫폼 개발실장(부사장)이 맡는다. 손 부사장은 포항공대 전자전기공학 박사로 2003년 삼성전자에 입사해 D램 설계 및 상품기획 전문가로 차세대 D램 제품 로드맵 구축과 신규 고객확보 등을 통해 D램사업 경쟁력 향상에 기여한 것으로 평가받는다. 손 부사장은 신설되는 HBM 개발팀을 진두지휘하며 HBM3(4세대)와 HBM3E(5세대)뿐 아니라 차세대 HBM4 기술 개발에 집중할 것으로 보인다.

---

HBM : High Bandwidth Memory (고대역폭 메모리)

 

일반적인 컴퓨터는 D램과 CPU가 중심이 됩니다. D램에는 데이터가 올라가고 (저장한다기 보다 올라가 있는 개념, 컴퓨터가 꺼지면 사라지는 휘발성 데이터), CPU는 이 데이터를 D램과 주고 받으며 계산을 하고 처리 하는 역할을 합니다. 하나씩 처리하는 직렬 계산입니다.

 

그런데 인공지능 모델에서는 병렬 계산이 중요해졌습니다. 왜냐하면 수백, 수천억개에 달하는 파라미터 숫자들을 행렬계산 해야하기 때문에 동시에 여러 계산을 처리해야 합니다. 그래서 주목을 받은게 병렬계산을 하는 GPU 입니다.

 

그래픽카드라고 하는 GPU는 원래 3D 게임에서 중요한 역할을 했습니다.  예를 들어 게임 속 캐릭터가 한발자국 앞으로 나갔다고 해봅시다. 우리가 보기에는 외곽선이 매끈한 캐릭터이지만 사실 수많은 점(좌표)들이 이어져 있는 3D 도형입니다. 예를 들어 1000개의 좌표가 X축으로 3만큼, Y축으로 5만큼, Z축으로 4만큼 이동했다고 하면 그 1000개의 꼭지점들의 위치를 각각 계산해서 다음 위치에 그려놓는 것입니다.

 

GPU는 이렇게 병렬 계산이 가능하기 때문에 인공지능 모델을 학습시키고, 학습 된 모델을 사용할 때 CPU보다 빠르고 효율적입니다. 그런데 GPU를 사용해 병렬계산을 하다보니 데이터를 주고받는 D램이 따라가지를 못하게 되었습니다. 그래서 GPU와 호흡이 잘 맞도록 D램을 시루떡처럼 적층하여 병렬 구조로 만든 것입니다. 이게 HBM 입니다.

 

HBM은 SK하이닉스에서 최초로 개발, 양산해서 2013년에 발표한 규격입니다. 현재는 SK하이닉스가 엔비디아에 독점 납품 하고 있고, 삼성전자와 마이크론이 엔비디아에 납품 하기 위해 테스트를 진행 중입니다. (24년 7월 4일 현재 기준)

 

여기서 알 수 있듯이 엔비디아는 더 이상 GPU를 만드는 회사가 아닙니다. 

사진은 24년 3월 19일에 있었던 AI 연산 차세대 아키텍처 블랙웰 공개 현장입니다. 저 무시무시한 보드에서 금빛 양 눈이 GPU이고, 그 밑에 무지개 빛 코가 CPU 입니다. 그리고 GPU 내부를 보면 골드바처럼 보이는게 SK하이닉스의 HBM입니다. (HBM3e)

 

블랙웰 GPU 부분을 확대하면 이렇게 생겼습니다. 중앙이 GPU 양 옆으로 박혀 있는 금 빛 정사각형 모양이 HBM 입니다. 이렇게 GPU와 메모리를 가깝게 붙여 놓으면 연산 속도나 에너지 효율이 좋다고 합니다.

 

위 사진은 GPU 아키텍쳐 32,000개를 연결해서 만든 AI 공장입니다. 인공지능을 학습 시키기 위한 AI 팩토리입니다.

엔비디아는 AI 기술이 고도화하는 과정에 함께 기술 발전이 일어날 분야로 자율주행과 로봇을 꼽기도 했습니다. (테슬라 ?)

확실히 AI 패권은 엔비디아가 잡은 것 같습니다. 그 패권을 잡은 엔비디아에게 핵심 부품이 HBM입니다. 한국 기업 두 곳이 여기에 줄을 섰다는게 다행입니다.

---

@ 함께 보면 좋은 글

https://eco-choding.tistory.com/18

LG전자가 인수한 기업 : 앳홈(Athom)은 어떤 기업인가, 인수 목적은?