네이버, 한국판 AI 성능 평가서 오픈AI·구글 제쳤다

HyperCLOVA_X 로고. 사진=네이버

네이버클라우드는 초거대언어모델(LLM) 하이퍼클로바X가 한국판 AI 성능 평가에서 국제 경쟁사를 앞서는 성과를 달성했다고 27일 발표했다. 이번 평가는 한국어로 구성된 KMMLU 평가 지표를 통해 이루어졌으며, 하이퍼클로바X는 오픈AI와 구글의 AI 모델보다 높은 평균 점수를 기록했다.

KMMLU는 45개 분야에서 전문가 수준의 지식을 평가하는 3만5030개의 문항으로 구성돼 있으며, 전체 문항의 약 80%는 전 세계 공통적으로 적용 가능한 지식을, 나머지 20%는 한국 특화 지식을 평가한다. 이는 AI가 한국 사용자에게 유용한지 종합적으로 판단할 수 있는 기준을 제공한다.

KMMLU 연구 논문에 따르면 하이퍼클로바X는 오픈AI의 'GPT-3.5-Turbo'와 구글의 'Gemini-Pro'보다 높은 점수를 기록하며 글로벌 시장에서 기술력을 입증했다. 특히 한국 특화 지식 기준에서는 오픈AI의 GPT-4보다도 높은 점수를 기록했다.

네이버클라우드는 이번 평가 결과를 바탕으로 하이퍼클로바X를 보안과 성능을 모두 갖춘 소버린 AI 솔루션으로 발전시키고 국내 산업 전반에 도입을 확대하겠다는 포부다. 지난해 10월에는 고객사의 폐쇄된 사내망에서 하이퍼클로바X를 사용할 수 있는 '뉴로클라우드 포 하이퍼클로바X'를 출시했으며, 향후 다양한 기업용 솔루션도 선보일 예정이다.

네이버클라우드는 KMMLU 설계 과정에 참여하며 한국어 이해 능력 평가의 객관성을 높이는 데 기여했다. 이외에도 2021년에는 30여 곳의 기업과 대학과 협력하여 한국어 자연어 이해 벤치마크 KLUE를 구축하고, 다양한 학문 분야와 협력하여 국내 초대규모 언어모델의 신뢰성 향상을 위한 한국어 데이터셋을 공개했다.

성낙호 네이버클라우드 하이퍼스케일 AI 기술 총괄은 "하이퍼클로바X는 세계 공통의 지식과 한국 특화 문제 해결 능력을 갖춘 소버린 AI로, 우수한 성능과 강력한 보안을 갖춘 솔루션으로 국내 산업 전반에서 도입이 이뤄지고 있다"며 "자국어 중심 AI에 대한 전 세계적 수요가 증가하는 만큼, 한국에서 확인된 소버린 AI의 경쟁력을 바탕으로 향후 글로벌 시장 진출에도 속도를 낼 것"이라고 했다.