인공지능(AI)이 촉발한 반도체 경쟁이 거세지고 있다. 챗GPT 같은 대규모 생성형 AI를 구현하기 위해 메타·구글·마이크로소프트 같은 빅테크 기업들은 고성능 컴퓨터를 앞다퉈 도입하는 중이다. 미국 엔비디아가 치고 나가는 가운데, 삼성전자·SK하이닉스·대만 TSMC 등도 AI 반도체 붐에 올라탔다. 메모리, 비메모리 업계 가리지 않고 ‘AI 반도체’ 시장을 석권하겠다는 각오다. AI 반도체는 도대체 무엇이며, 어느 기업이 어떤 장치를 만들고 어떤 흐름으로 반도체 공급망이 이어지는지 상세히 설명해 보고자 한다.
◇AI 반도체 필수 요소, D램과 HBM
D램은 정보를 읽고 쓰고 저장하는 용도로 쓰이는 메모리 반도체다. 우리나라가 특히 강한 분야다. 삼성전자, SK하이닉스, 마이크론 등이 시장을 주도하고 있다. 고대역폭메모리(HBM)는 D램을 여럿 쌓아 속도를 높이면서 전력 소비를 줄인 고성능 메모리 반도체다. 정보 처리량이 많은 AI 가속기를 만드는 데 필수 요소로 꼽힌다. 현재 HBM 시장은 SK하이닉스와 삼성전자가 양분하고 있다. SK하이닉스가 4세대 HBM(HBM3)을 엔비디아에 독점적으로 공급하며 시장을 선도하고 있고, 삼성전자가 추격하는 모양새다. 이제 5세대 HBM(HBM3E)까지 등장했다. SK하이닉스의 제품은 초당 풀HD급 영화(5기가바이트) 230편이 넘는 분량을 1초 만에 처리한다. SK하이닉스가 엔비디아에 공급하고, 마이크론도 양산을 공식화했다. 삼성전자는 상반기 중 양산 예정이다. 낸드플래시는 대용량 저장 장치를 만드는 메모리 반도체의 일종이다. 최근 반도체 수퍼사이클을 맞아 D램과 함께 덩달아 가격이 뛰었다.
◇AI 연산 핵심 칩, GPU
그래픽 처리 장치. 대표적 비메모리 분야 반도체 중 하나다. 1999년 엔비디아가 게임 속 3D 이미지 데이터를 효과적으로 처리하기 위해 개발했다. 명령어를 순서대로 처리하는 중앙처리장치(CPU)와 달리 한 번에 여러 계산을 할 수 있다. 복잡한 AI 훈련과 서비스에 적합해 AI 반도체로 널리 쓰이고 있다. 원조 격인 엔비디아가 점유율 1위이며, AMD·인텔이 엔비디아의 아성에 도전하고 있다. 엔비디아는 반도체 설계만 하고, 대만TSMC에 제조를 위탁한다. 이 회사의 AI 가속기 주력 제품인 H100에 탑재된 GPU 프로세서 GH100은 TSMC의 4나노미터(10억분의 1미터) 공정으로 만들어졌다.
◇없어서 못 파는 AI 가속기
AI 반도체 중 가장 널리 알려졌다. PC에 탑재되는 그래픽카드의 일종이지만, AI·딥러닝·머신러닝 같은 분야에 특화돼 있어 게임을 돌릴 수는 없다. 생성형 AI 열풍이 불면서 ‘없어서 못 파는 제품’이 됐다. 엔비디아의 AI 가속기 H100은 메타·마이크로소프트·구글 등 글로벌 빅테크 기업들이 수십만 대씩 주문하는 바람에 대당 5000만원이 넘는 고가 제품이 됐다. 인텔도 자체 설계 AI 가속기 가우스 시리즈로 추격하고 있다. 삼성전자도 내년 초 AI 가속기 ‘마하-1′을 내놓는다는 계획을 세웠다.
AI 가속기는 GPU에 데이터 처리용 메모리로 HBM 여러 개를 조립해 만든다. 엔비디아가 설계하고, TSMC가 패키징 작업을 거쳐 납품한다. 이 과정에서 HBM도 함께 탑재되는 것이다. 엔비디아 H100에는 4세대 HBM 4개가 탑재된다. 엔비디아가 지난달 발표한 최신 AI 가속기 블랙웰(B200)에는 8단 5세대 HBM이 8개 들어간다. 이 가속기는 H100보다 AI 추론 성능이 30배 이상 향상된 것이 특징이다. 젠슨 황 엔비디아 최고경영자(CEO)는 지난달 18일 블랙웰을 공개하며 “생성형 AI 산업혁명을 구동하는 엔진이 될 것”이라고 했다.
◇AI 컴퓨터와 AI 데이터센터
AI 가속기와 CPU, 낸드 등을 조립하면 AI 컴퓨터가 된다. 엔비디아의 AI 컴퓨터 ‘DGX H100′은 AI 가속기(H100) 8개와 인텔의 제온 4세대 CPU를 탑재했다. 여기에 30테라바이트 규모 낸드 저장 장치가 함께 들어간다. DGX H100의 가격은 대당 약 6억원에 달한다. 이런 AI 컴퓨터를 수백~수천 대 모아놓으면 AI 데이터센터가 된다. 단순 데이터 저장용이 아닌, GPT·제미나이 같은 대규모 언어 모델을 학습시키는 초거대 두뇌 역할을 하는 기지인 셈이다. 최근 오픈AI와 마이크로소프트가 AI 데이터센터를 구축하기 위해 1000억달러(약 134조6000억원)를 투자하기로 했다.
