중국 스타트업 딥시크가 지난달 말 인공지능(AI) 언어 모델 ‘R1’을 공개하자마자 세계적으로 화제가 될 수 있었던 배경에는 한 사이트가 있다. 전 세계 오픈소스 AI 모델이 한데 모이는 ‘허깅 페이스(Hugging Face)’다. 오픈소스는 소프트웨어 설계도라 할 수 있는 ‘소스코드’를 대외적으로 공개해 누구나 내려받아 수정·배포할 수 있게 개방하는 것을 말한다. 딥시크는 자신들이 개발한 AI 모델을 늘 허깅 페이스에 공개하고 교류하며 기술력을 끌어올렸고, 연구자나 개발자들이 모델 아키텍처(구조)와 가중치를 직접 살펴볼 수 있게 한 덕분에 기술력을 빠르게 인정받았다.
허깅 페이스에 등록된 AI 모델은 현재 143만개에 달한다. AI를 학습시키는 데 사용하는 데이터 뭉치도 30만개 이상 업로드돼 있다. 개발자라면 누구나 쉽게 이곳에서 AI 모델을 무료로 내려받을 수 있고, 원하는 언어와 분야별 특화된 데이터 뭉치로 학습시켜 자신만의 AI 모델로 개량할 수 있다. 전 세계 AI 개발자들이 허깅 페이스에 몰리는 배경이다. 딥시크 R1만 해도 공개한 지 채 한 달밖에 되지 않았지만 다운로드 수는 406만회에 달한다.
◇챗GPT도 허깅 페이스에서 시작
허깅 페이스는 생성형 AI 기술의 요람이라 불린다. 생성형 AI의 근간 기술이라 불리는 ‘딥러닝(인공 신경망)’을 처음 선보인 건 2017년 구글 연구진이 내놓은 ‘트랜스포머 모델(BERT)’ 관련 논문이었다. 하지만 이를 많은 AI 연구자들이 쉽게 적용할 수 있도록 오픈소스로 만들어 보급한 곳이 허깅 페이스다. AI 시대의 문을 연 오픈AI의 ‘챗GPT’ 역시 그 시작인 GPT-1과 GPT-2 모델은 트랜스포머 기반으로 만들어져 허깅 페이스에 오픈소스로 공개됐다.
허깅 페이스는 프랑스 출신 경영학도 클레망 들랑그(37)가 머신러닝(기계 학습) 연구자였던 줄리앙 쇼몽 및 토마스 울프와 2016년 미국 뉴욕에서 공동 창업한 스타트업이다. 원래는 10대를 위한 AI 챗봇을 개발했지만, 부족한 AI 기술력에 성장 한계성을 느끼던 중 구글 트랜스포머를 접하며 사업을 전환했다. 트랜스포머가 엄청난 모델이라는 확신과 함께 대다수 이용자가 이용하기엔 너무 복잡했고 구글의 독자 플랫폼(텐서플로)에서만 쓸 수 있다는 점을 눈여겨본 것이다. 자신들의 챗봇을 트랜스포머 모델 구조로 개조한 오픈소스 모델을 만들어 개발자들의 오픈소스 허브였던 ‘깃허브’에 공개했다. 이를 수만명이 복사(포크)해 가자 2020년 아예 오픈소스 AI 모델을 전문적으로 다루는 온라인 공간을 만들었다.
◇메타, 허깅 페이스에 AI 모델 공개
최신 AI 모델은 물론 학습용 데이터도 대가 없이 공유하는 사이트는 자연스레 AI 개발자들의 필수 플랫폼으로 떠올랐고, 전문가들이 몰리자 기업들 역시 개발한 AI 모델을 올리며 기술을 검증하고 확산시키는 무대로 활용하기 시작했다. 이제는 허깅 페이스에 참여하는 기업 및 기관만 5만개 이상이다. 생성형 AI 모델 ‘라마(Llama)’ 시리즈를 매번 허깅 페이스에 오픈소스로 공개하는 메타가 대표적이다. 마노하 팔루리 메타 생성형 AI 부사장은 “라마는 현재까지 4억회 이상 다운로드됐다”며 “6만5000개 이상의 파생 모델이 개발돼 다양한 산업 분야에서 활용되고 있다”고 밝혔다.
오픈AI와 구글, 앤트로픽 같은 AI 기술 분야 선도 기업들은 이제 기술 격차를 벌리기 위해 자신들의 기술을 감추고 있다. 반면 메타나 딥시크 같은 후발 주자들은 이들을 따라잡기 위해 지식 공유와 집단 지성이라는 혁신 촉진제를 적극 활용 중이다. 큰 비용을 들여 만든 AI 모델을 인터넷에 오픈소스로 공개하는 이유다. 파생 모델을 통해 시장 점유율을 늘리며 생태계를 확장할 수 있다는 점도 장점이다.
