AI 안전성도 '셀프 점검'에서 외부 검증으로···네카오 대응은

모델 넘어 서비스·에이전트까지 안전성 검증 확대글로벌 AI 기업들 외부 평가로 안전성 검증 강화네이버·카카오, 자체 평가와 외부 검증 병행

생성형 인공지능(AI)이 답변을 넘어 실제 행동까지 수행하면서 안전성 관리 범위도 넓어지고 있다. AI 모델 점검에서 나아가 서비스와 에이전트의 위험까지 관리하는 방향이다. 오픈AI·구글 딥마인드 등 글로벌 기업들은 외부 평가와 위험별 검증을 도입하고 있다. 네이버와 카카오도 글로벌 기업들과 같은 방향으로 안전성 관리 범위를 확대하고 있다.

그래픽=홍연택 기자

5일 정보기술(IT) 업계에 따르면 네이버는 자체적인 AI 안전성 관리 체계를 서비스 전반으로 확대하고 있다. 네이버는 지난 7월 'NAVER AI 세이프티 프레임워크(ASF) 2.0'을 공개하면서 기존 AI 모델 중심의 안전성 관리를 이용자와 서비스까지 넓혔다. AI 서비스에서 발생할 수 있는 위험을 110개 세부 항목으로 분류하고 서비스 기획부터 출시·운영 이후까지 위험을 식별·평가·관리하는 구조다.

실행 방식도 구체화했다. 네이버는 AI 세이프티 센터와 각 서비스 조직이 협업하는 'CHEC 2.0'을 통해 기획 단계부터 출시 이후 평가까지 전 주기를 관리한다. 안전성 평가 도구인 'N-ASET'로 AI 서비스의 답변을 유해성과 사용성 측면에서 함께 평가하며 서비스 출시 전 사전 평가와 출시 이후 정기 평가를 병행한다. 한 번의 점검으로 끝내지 않고 서비스 운영 과정에서 위험을 다시 확인하는 방식이다.

네이버가 내부 체계를 중심으로 안전성을 관리하면서도 외부 검증을 배제한 것은 아니다. 네이버는 ASF 2.0을 마련하는 과정에서 서울대 인공지능 정책 이니셔티브 등 외부 전문가의 자문을 받았고 AI 세이프티 센터와 서비스 조직·이사회가 역할을 나누는 3계층 관리·감독 체계도 마련했다.

카카오는 외부 전문가의 자문과 전문기관과의 공동 평가를 병행하며 AI 안전성 검증 체계를 확대하고 있다. 카카오는 지난 7월 학계·법조계·국제기구 등 전문가 7명으로 구성된 'AI&기술윤리소위원회' 외부 자문단을 발족했다. 에이전틱 AI 확산에 따른 사회적 위험에 대응하고 국내 AI 기본법과 국제적인 AI 안전 논의에 맞는 정책 체계를 마련하기 위한 목적이다. 카카오는 자문단의 의견을 내부 AI 기술 정책에 반영하고 관련 활동도 공개할 계획이다.

외부 검증의 범위는 AI 모델 평가로도 넓히는 중이다. 카카오는 인공지능안전연구소와 AI 안전성 공동 평가 및 평가 체계 구축에 협력하기로 했다. 자사 AI 모델과 에이전트를 평가 대상으로 제공하고 인공지능안전연구소가 평가 방법론 고도화와 평가를 맡는 구조다. 우선 언어모델의 배포 전·후 안전성을 평가한 뒤 멀티모달 모델과 AI 에이전트로 범위를 넓히고 향후 안전성 평가도구도 공동 개발할 계획이다.

두 회사의 방향은 AI 모델 자체의 안전성을 넘어 실제 서비스에서 발생할 수 있는 위험까지 관리한다는 점에서 맞닿아 있다. 네이버가 110개 위험 항목과 자체 평가도구·전사 실행체계를 마련해 서비스 전 주기를 관리하는 데 초점을 맞췄다면 카카오는 외부 전문기관과 공동 평가를 진행하면서 평가 방법론과 검증 도구를 함께 구축하는 단계다.

글로벌 AI 기업들 역시 AI 안전성을 자체 조직의 검토에만 맡기지 않고 외부 평가와 위험별 검증 체계를 함께 활용하고 있다. 오픈AI는 프런티어 모델을 대상으로 위험 영역을 외부 기관이 평가하도록 하고 있다. 구글 딥마인드도 '프런티어 안전 프레임워크'를 통해 고위험 AI 모델의 위험을 식별·평가하고 있으며 필요한 경우 외부 전문가나 기관을 참여시키도록 하고 있다.

한 IT 업계 관계자는 "AI 에이전트가 검색과 답변을 넘어 예약·구매 등 실제 행동까지 수행하면서 안전성 검증의 범위도 넓어지고 있다"며 "이용자 권한을 바탕으로 어떤 행동을 수행하는지, 서비스 환경에서 어떤 위험이 발생하는지까지 점검하는 체계가 중요해질 전망"이라고 말했다.