'대화형 AI' 이대로 괜찮나···청소년 보호 공백 우려

지난 2월 한 달 동안 한국인이 가장 오래 사용한 AI 챗봇 앱은 뭘까. 그건 스캐터랩이 출시한 대화형 AI 서비스 '제타'로 총 1억1341만 시간을 기록했다. 다소 낯선 이름이지만, 청소년과 Z세대 사이에서는 챗GPT나 제미나이만큼 유명한 AI다. 제타에서는 사용자가 원하는 콘셉트의 캐릭터를 만들어 대화를 나누게 된다. 제타에서 2004만회의 대화가 생성된 '힘숨찐 전학생으로 살아남기' 콘셉트를 보면 '정체를 숨긴 서열 1위인 이용자를, 일진 무리가 건드려 온다'는 설정이다. 해당 콘셉트의 대화를 시작하면 이용자가 이야기의 주인공이 돼 다양한 캐릭터들과 상황을 전개하는 식이다.

대표적인 대화형 AI 서비스는 뤼튼테크놀로지스의 '크랙', 스캐터랩의 '제타', 타인AI의 '러비더비' 등이 있다. 앱을 다운받아 서비스에 가입하면 손쉽게 이용할 수 있다는 점에서 접근성이 매우 높다. 그러나 최근 해당 서비스에 대한 미성년자 보호 공백과 안전성이 문제로 떠오르고 있다. AI가 생성하는 대화나 그림이 미성년자에게 부적절하거나 민감한 주제를 포함했다는 지적이 제기되면서다.

해외 주요 AI 기업들은 이 같은 문제를 사전에 차단하기 위해 안전장치를 강화하는 추세다. 챗GPT는 이용자와의 대화에서 성적·유해 콘텐츠를 엄격히 제한하는 정책을 적용하고 있으며, 특정 키워드나 맥락이 감지될 경우 자동으로 응답을 제한하거나 안전한 방향으로 대화를 전환하는 필터링 시스템을 운영 중이다. 제미나이도 유사한 안전 정책을 적용하고 있다. 제미나이는 아동·청소년 보호를 위해 성적 콘텐츠 생성 자체를 제한하고 있으며, 위험성이 감지되는 경우 답변을 거부하거나 경고 메시지를 제공하는 방식으로 대응한다.

글로벌 기업들이 이용자 보호를 위한 최소한의 기준을 마련하는 사이 국내에서는 관련 논의가 상대적으로 더딘 모습이다. 현재 AI 서비스 운영사들은 연령대를 나눠 콘텐츠를 제공하는 한편 자체적인 가이드라인을 만들어 운영 중이다. 예컨대 크랙은 연령 사용자에게 노출되는 '세이프티 콘텐츠'와 성인 인증을 통해 이용할 수 있는 '언세이프티 콘텐츠'로 나누고, 세이프티 콘텐츠의 과도한 신체 노출이나 성적 부위, 행위 묘사 등을 금지하고 있다. 제타 역시 '세이프 모드' '언리밋 모드'로 나누고 성적 접촉을 유도하거나 과도하게 폭력적인 소재의 콘텐츠를 제한하는 중이다.

캐릭터형 AI 대화 서비스가 청소년층에서 빠르게 확산되고 있다는 점에서 제도적 장치의 부재는 뼈아프다. 해당 서비스가 일상 속으로 깊숙이 들어오고 있음에도 불구하고, 이를 통제할 수 있는 사회적 논의는 여전히 부족하다. 기술 발전 속도를 제도가 따라가지 못하는 전형적인 사례라는 지적이 나오는 이유다. 지금 필요한 것은 '어디까지 허용할 것인가'에 대한 사회적 합의와 이를 실행할 최소한의 기준점 마련이다.