글로벌 인공지능(AI) 훈련용 반도체 시장을 사실상 장악하고 있는 미국 엔비디아가 메모리 용량을 대폭 늘린 차세대 AI 수퍼칩 신제품 양산에 나선다고 밝혔다.
8일(현지 시각) 미국 로스엔젤레스에서 열린 ‘시그래프 2023′에 나타난 젠슨 황 엔비디아 최고경영자(CEO)는 회사의 차세대 AI칩 ‘그레이스 호퍼(GH) 200′을 내년 2분기부터 본격 생산할 것이라고 밝혔다. GH200은 방대한 용량의 데이터를 실시간으로 저장·처리해야하는 AI 훈련에 맞춤형으로 만든 제품으로, 엔비디아 그래픽처리장치(GPU)와 ARM의 컴퓨터프로세서(CPU)를 하나로 결합한 ‘수퍼칩’이다. GPU와 CPU를 하나로 통합할 경우, 정보를 주고 받는 과정을 크게 단축시켜 전력 소비를 줄일 수 있다는 장점이 있다.
GH200은 현재 가장 앞서가는 것으로 평가받는 엔비디아의 AI용 반도체 ‘H100′과 동일한 GPU를 갖추고 있지만, 메모리는 141기가바이트(GB)로 H100(80GB)보다 높다. 여기에 탑재된 HBM3E 메모리는 D램을 수직으로 쌓은 차세대 메모리 칩으로, 초당 5테라바이트(TB)의 정보를 처리할 수 있다. GH200에 들어가는 메모리 부품은 삼성전자 및 SK하이닉스가 제공할 것으로 알려졌다.
AI 훈련은 수많은 양의 데이터를 사용해 AI모델을 훈련하는 것으로 시작되며, 이 과정에는 통상 엔비디아의 A100, H100 같은 고급 GPU 수천장이 사용된다. 이렇게 구축된 AI 모델은 텍스트나 이미지를 생성하기 위해 실시간으로 방대양 한의 정보 처리 능력이 요구된다. 엔비디아에 따르면 GH200은 실시간 정보를 처리하는 ‘추론용 제품’으로 설계됐다.
젠슨 황 CEO는 “더 큰 메모리를 사용했기 때문에 여러 GPU를 연결시킬 필요가 없어져 AI 모델에 드는 비용이 크게 줄어들 것”이라고 했다. 과거 수많은 GPU를 쌓아서 만든 1억 달러 규모의 데이터 센터와 동일한 컴퓨팅 능력을 갖춘 설비를 만드는데 800만 달러를 쓰면 될 것이라고 말하기도 했다. GH200으로 만들어진 데이터센터는 기존 설비보다 전력을 20배 적게 사용하기 때문인 것이다.
실제로 최근 AI칩 경쟁은 메모리 확대의 영역으로 넘어가고 있다. 최근 엔비디아의 주요 GPU 라이벌인 미국 AMD가 내놓은 AI반도체 신제품 ‘MI300X’ 역시 최대 192GB의 메모리를 탑재할 수 있다는 점을 강점으로 내세웠었다. 반도체 업계에선 “메모리 강자인 한국 삼성전자, SK하이닉스 등이 이런 AI칩 붐에서 수혜를 받을 가능성이 크다”고 말했다.
한편 엔비디아는 이날 손쉽게 생성형 AI를 개발할 수 있는 플랫폼 ‘AI워크벤치’를 조만간 출시한다고도 밝혔다. 생성형AI 개발을 위한 프로젝트 예시들을 제공하고, 이를 토대로 엔비디아의 AI슈퍼컴퓨팅 서비스 ‘DGX’ 클라우드를 이용해 AI서비스를 만들수 있다는 것이다.