크래프톤, 자체 LLM '라온-1 미니' 공개···30B급 오픈소스 모델

300억 파라미터 중 40억개만 활성화···응답 속도·추론 비용 개선

허깅페이스에 아파치 2.0으로 공개···연구·상업용 모두 활용 가능

크래프톤이 자체 개발한 300억 파라미터급 거대언어모델(LLM)을 공개했다. 사진=크래프톤

크래프톤이 자체 개발한 300억 파라미터급 거대언어모델(LLM)을 공개했다. 필요한 파라미터만 선택적으로 활성화하는 구조를 적용해 한국어 성능과 응답 속도, 비용 효율을 함께 끌어올리는 데 초점을 맞췄다.

21일 크래프톤은 자체 개발 LLM '라온-1 미니'의 프리뷰 버전을 공개했다고 밝혔다. '라온-1 미니'는 모델 설계부터 처음부터 학습하는 '프롬 스크래치' 방식까지 크래프톤이 직접 수행한 30B급 모델이다. 영어와 한국어를 지원한다.

전체 300억개 파라미터 가운데 필요한 40억개만 활성화하는 전문가 혼합(MoE) 구조와 자체 개발 선형 어텐션 기술을 결합했다. 이를 통해 추론 과정에서 연산량을 줄이고 응답 속도를 높이는 방식이다.

크래프톤은 한국어 대화와 지시 이행, 에이전트 활용 능력에 중점을 두고 모델을 설계했다. 해외 동급 규모 모델과 비교해 경쟁력 있는 성능을 확보했고 일부 평가지표에서는 국내 대형 모델 수준에 근접했다고 설명했다.

프리뷰 버전은 허깅페이스에 아파치 2.0 라이선스로 공개됐다. 누구나 무료로 내려받을 수 있으며 연구뿐 아니라 상업용 서비스와 제품 개발에도 활용할 수 있다.

크래프톤은 향후 모델 성능을 추가로 개선해 정식 버전을 공개할 계획이다. 정식 출시 때는 학습 과정과 최종 성능을 담은 기술 보고서도 함께 내놓는다.

'라온-1 미니'는 지난 4월 출범한 크래프톤 AI 모델 브랜드 '라온'의 첫 거대언어모델이다. 앞서 음성 언어 모델과 실시간 음성 대화 모델, 텍스트·음성 변환 모델, 비전 인코더 등 4종을 오픈소스로 공개했다.

이강욱 크래프톤 최고AI책임자(CAIO)는 "5년 넘게 축적한 AI 연구개발 역량을 바탕으로 경쟁력 있는 언어모델을 독립적으로 개발했다"며 "성능은 높이고 비용 부담은 낮춘 모델로 다양한 산업에서 AI 활용 범위를 넓혀가겠다"고 말했다.