네이버가 지난해 내놓은 생성형 인공지능(AI)의 한국어 이해 역량이 빅테크의 생성형 AI보다 뛰어난 것으로 나타났다.
네이버클라우드는 27일 ‘하이퍼클로바X’가 한국판 AI 성능 평가 체계 ‘KMMLU(Measuring Massive Multitask Language Understanding in Korean)’에서 오픈AI, 구글의 생성형 AI보다 높은 점수를 기록했다고 밝혔다. KMMLU 연구 논문에 따르면 일반 지식과 한국 특화 지식을 종합한 전반적인 성능 평가에서 하이퍼클로바X는 오픈AI의 ‘GPT-3.5 터보’와 구글의 ‘제미나이 프로’보다 높은 점수를 기록했다. 한국 특화 지식 기준으로는 오픈AI의 최신 버전인 ‘GPT-4′보다도 높은 점수를 기록했다.
KMMLU는 국내 개방형(오픈소스) 언어모델 연구팀 ‘해례’가 이끄는 AI 성능 평가 지표 구축 프로젝트로 네이버클라우드도 설계 과정에 참여했다. 인문학, 사회학, 과학∙기술 등 45개 분야에서 전문가 수준의 지식을 묻는 3만5030개 문항으로 구성됐다. 수학적 추론 능력과 같이 세계 공통으로 적용 가능한 광범위한 지식을 묻는 문항 비율이 약 80%, 한반도 지리, 국내법 등 한국 특화 문제 해결 능력을 평가하기 위한 문항이 20%를 차지한다.
네이버클라우드 관계자는 " 오픈AI, 구글 등 미국 기업들이 AI 성능을 확인하기 위해 주로 사용하는 지표인 ‘MMLU(대규모 다중작업 언어 이해)’를 한국어로 번역하는 경우, 부정확한 번역과 영어권 국가만의 문화적 배경 때문에 AI 모델의 한국어 능력을 제대로 가늠하기 어렵다”며 “KMMLU는 한국어가 원본인 시험 문제로 구성됐기 때문에 AI의 한국어 이해 역량을 보다 정확하게 평가할 수 있다”고 했다.
