모티프테크놀로지스, 독파모 2차 평가에 이의제기···"기준·결과 공개해야"

모티프테크놀로지스가 정부의 독자 AI 파운데이션 모델(독파모) 사업 2차 평가 결과에 공식 이의를 제기했다. 단순히 탈락 결과에 대한 불복이 아니라 벤치마크와 전문가·사용자 평가 결과가 엇갈린 이유를 공개하고, 3차 평가 방향을 재검토해야 한다는 주장이다.

그래픽=홍연택 기자

모티프테크놀로지스는 27일 입장문을 내고 독파모 2차 평가 결과와 관련해 정식으로 이의제기를 신청했다고 밝혔다. 회사는 "이날 독파모 2차 단계 선정 결과와 관련해 정식으로 이의제기를 신청했다"며 "이번 이의제기는 모티프가 선정돼야 한다는 주장만을 위한 것이 아니라 독파모가 무엇을 위한 사업인지 합의를 이끌어내고 앞으로 개선할 방향을 찾기 위한 것"이라고 말했다.

회사는 독파모 사업의 핵심 목표가 글로벌 프론티어 모델의 95% 이상 성능을 확보하는 데 있는 만큼, 모델의 본질적인 성능을 높이는 것이 우선돼야 한다고 강조했다.

논란의 중심에는 벤치마크 평가와 전문가·사용자 평가 간의 결과 차이가 있다. 모티프가 개발한 '모티프3'는 글로벌 인공지능 성능 평가 기관 아티피셜 애널리시스의 '인텔리전스 인덱스'(AAII)에서 47점을 기록했다. 회사 측은 이를 모델 업체 기준 글로벌 10위, 미국과 중국을 제외하면 1위에 해당하는 성과라고 설명했다. 독파모에 제출된 다른 모델의 AAII 점수는 업스테이지 37점, SK텔레콤 35점, LG AI연구원 31점이었다.

그러나 모티프3는 2차 평가에서 가장 낮은 점수로 탈락했다. 회사는 "과학기술정보통신부가 이후 언론을 통해 모티프3에 대해 벤치마크 점수는 높지만 전문가 평가와 사용자 평가에서 문제가 있었다고 설명한 것으로 보도됐다"고 지적했다.

이에 모티프는 실제 추론 성능과 사용성·활용성이 떨어진다는 취지의 평가가 언급된 데 대해 구체적인 근거를 요구했다. "AAII에서 47점과 31점이라는 상당한 성능 차이가 있었는데 전문가 평가와 사용자 평가를 거치면서 반대 결과가 나왔다면 그 이유를 기업과 업계가 납득할 수 있도록 구체적으로 설명해야 한다"고 말했다.

모티프는 파운데이션 모델의 가치는 챗봇의 사용성보다 여러 분야로 확장할 수 있는 기반 성능에서 나온다고 주장했다. 현재 한국 AI 모델이 글로벌 프론티어 모델과 상당한 격차가 있는 만큼 성능 향상에 더 많은 투자가 필요하며, 독파모의 당초 목표를 고려하면 현재 수준을 이미 충분하다고 평가하기 어렵다는 입장이다.

아울러 벤치마크 점수를 반영하는 방식에 대해 문제를 지적했다. 모티프가 파악한 2차 평가 배점은 벤치마크 40점, 전문가 평가 35점, 사용자 평가 25점이다. 이 가운데 벤치마크 점수의 성능 차이가 최종 배점에 충분히 반영되지 않았다고 주장했다. AAII 글로벌 1위 점수인 63점을 25점 만점으로 환산하면 15.75점에 불과하고, 독파모 참여 모델 중 1위인 47점과 4위인 31점의 차이도 최종 배점에서는 4점으로 줄어든다는 것이다.

이에 따라 모티프는 과기정통부에 전체 평가 항목별 업체별 상세 점수와 평가 기준, 전문가 평가의 구체적인 판단 근거, 사용자 평가 방법론과 결과를 공개해달라고 요구했다. 사용자 평가의 방법론·상세 기준·결과 공개도 요청했다.

다만 모티프는 이번 이의제기가 3차 선정만을 요구하기 위한 것은 아니라는 입장이다. 회사 측은 "이의제기 결과와 관계없이 독파모 3차에는 참여하지 않겠다"며 "자체적으로 한국을 대표하는 프론티어 모델을 개발해 글로벌 경쟁력을 입증하겠다"고 밝혔다.