금융 생성형AI에 푹 빠진 케이뱅크...'프라이빗 LLM'으로 혁신 잇는다

생성형AI에 푹 빠진 케이뱅크...'프라이빗 LLM'으로 혁신 잇는다

등록 2025.04.25 08:00

수정 2025.04.25 09:09

기자

김하영 케이뱅크 데이터AI서비스팀 AI파트 매니저 인터뷰챗GPT와는 다른 길···보안·실용성에 초점 맞춘 자체 모델가상비서부터 컴플라이언스까지···AI 내재화 전략 본격 시동

김하영 케이뱅크 데이터AI서비스팀 AI파트 매니저가 지난 23일 케이뱅크 본점에서 뉴스웨이 취재진을 만나 인터뷰하고 있다. 사진=강민석 기자 kms@newsway.co.kr

"많게는 10여 장에 달하는 고객 서류를 직원이 직접 요약하면 10분 넘게 걸렸지만, 지금은 거대언어모델(LLM)을 활용해 1분 이내로 단축돼 업무 효율성이 크게 향상됐습니다"

케이뱅크가 지난 2월 인터넷전문은행 최초로 프라이빗 LLM을 도입하며 인공지능(AI) 실용화에 속도를 내고 있다. 생성형 AI에 대한 실험적인 접근을 넘어 대고객 콘텐츠 생성, 내부 업무 자동화 등 실제 업무로 적용 범위를 넓혀가는 모습이다.

케이뱅크가 개발한 프라이빗 LLM은 공개적으로 접근이 가능한 챗GPT, 딥시크 등과 달리 특정 조직이나 기업 내부에서만 사용하도록 설계된 맞춤형 AI 언어모델이다. 프라이빗 LLM은 기업이 원하는 전문 데이터를 학습시켜 보다 정교하고 신뢰성 높은 정보를 생성할 수 있다. 데이터가 외부로 전송되지 않고 내부 서버에서만 운영되기 때문에 보안성이 뛰어나다는 평가를 받고 있다.

프라이빗 LLM 개발은 케이뱅크 데이터AI서비스팀의 가장 큰 성과로 꼽힌다. 케이뱅크는 지난 2023년 기존 분산 조직을 통합해 데이터서비스팀을 만든 뒤 AI 업무를 확대하면서 '데이터AI서비스팀'으로 개편했다. LLM이 내부 업무 효율화 뿐만 아니라 아니라 대고객 서비스, 컴플라이언스 대응 등 다양한 접점에 적용되면서 '일하는 방식' 자체가 달라지는 분위기다.

케이뱅크는 비대면 기반의 디지털 전업은행이라는 특성상 설립 초기부터 AI를 통한 업무 자동화와 고객 응대 혁신을 전략적 과제로 설정해왔다. 설립 이후부터 실효성과 리스크 대응에 집중한 판별형 AI 고도화에 집중해왔지만 지난해부터는 생성형 AI의 기술 성숙과 금융권 적용 가능성에 주목하고 생성형 AI에 눈을 돌렸다.

지난 23일 서울 을지로 케이뱅크 본점에서 만난 김하영 데이터AI서비스팀 AI파트 매니저는 "저희는 프라이빗 LLM을 구축하고 이걸 현업에서 활용할 수 있는 유스 케이스(Use Case)를 다양하게 발굴하고 있다"며 "클라우드 기반의 LLM은 망분리, 데이터 보호 등 규제 대응에 제약이 많다보니 우리 환경에 맞는 프라이빗 LLM을 구축하게 됐다"고 설명했다.

김 매니저는 국내 시스템통합(SI) 업체의 R&D 연구소에서 근무하다가 지난 2020년 케이뱅크에 합류했다. 김 매니저는 "연구소에 속한 조직에서 근무할 때 현업에서 쓰는 서비스를 개발할 수 있는 경험은 크지 않았기 때문에 이에 대한 갈증이 있었다"며 "엔지니어 입장에서 망분리 규제는 처음 경험하다보니 어려움도 많았지만 이를 극복해나가는 과정이 더 보람차다고 생각한다"고 말했다.

외부 API 의존없이 자체 개발···안정성·신뢰성 동시 확보

케이뱅크의 프라이빗 LLM은 외부 API에 의존하지 않고 자체적으로 개발했다는 점에서 더욱 의미가 깊다. 챗GPT와 성능격차는 존재하지만 안정성과 신뢰성 확보에 집중했다는 게 김 매니저의 설명이다.

김 매니저에 따르면 케이뱅크의 프라이빗 LLM은 약 220억개의 파라미터로 구성돼 있다. 파라미터란 사람의 뇌의 시냅스 역할을 하는 숫자 값으로, 파라미터 개수가 많아질수록 더 많은 정보를 이해하고 생성해낼 수 있다. 공식적인 정보는 아니지만 챗GPT와 클로드 모델은 최소 수천억개에서 수조개에 달하는 파라미터로 구성된 것으로 알려져 있다.

케이뱅크의 LLM은 대형 모델은 아니지만 보안성과 실용성, 유연성 측면에서 경쟁력을 확보했다. 단순한 성능보다는 금융권 실무에 적합한 맞춤형 구조와 내부 시스템 통합에 집중했다는 얘기다.

챗GPT는 외부 클라우드 기반으로 운영돼 금융 규제상 사용 불가하거나 장애 발생 시 통제가 불가능하다. 반면 프라이빗 LLM은 자체 운영되기 때문에 리스크를 최소화할 수 있다. 또한 대형 모델은 실시간 정보 반영이 어려운 반면 프라이빗 LLM은 자체 데이터베이스와 연동해 최신 정보를 제공한다.

이에 대해 김 매니저는 "언어모델이 갖고있는 지식 기반으로만 답변하면 주기적으로 바뀌는 정보에 대응하기 어렵다"며 "외부 데이터베이스를 검색한 뒤 해당 내용을 기반으로 답변을 생성하는 'RAG(레그)' 구조를 채택해 이를 극복했다"고 설명했다.

케이뱅크의 프라이빗 LLM은 일관성과 신뢰도 측면에서도 높은 수준의 완성도를 자랑한다. 생성형 AI의 가장 큰 한계점으로 꼽히는 '할루시네이션(환각현상)'을 줄이기 위해 프롬프트 템플릿을 표준화하고 후처리를 자동화한 게 특징이다.

김 매니저는 "생성형 AI는 같은 질문에도 매번 다른 답이 나올 수 있고, 때로는 과장되거나 부정확한 정보가 나올 수도 있다"며 "프라이빗 LLM은 검증된 자료를 기반으로 답변을 생성하도록 구조를 바꿨다"고 부연했다.

프라이빗 LLM은 케이뱅크의 대고객 부서를 중심으로 적용돼 직원들의 업무효율을 끌어올리고 있다. 고객들이 제출한 서류를 분류하는데 1~2분이면 충분하다는 게 김 매니저의 설명이다. 과거 판별형 AI 기반 OCR 자동화 프로젝트에서도 업무 효율이 90% 이상 상승한 것으로 나타났다.

AI, 기술 넘어 문화로···현업에 녹아드는 조직형 LLM

특히 케이뱅크는 프라이빗 LLM 도입 이후 조직 전체가 AI를 이해하고 실제로 활용할 수 있도록 시스템을 구축해 나가고 있다. 단순히 AI 시스템을 도입하는 것에 그치지 않고 모든 임직원이 AI의 개념, 활용법, 작동 원리를 이해하고 실무에 쓸 수 있도록 학습시키고 있다는 설명이다.

김 매니저는 "AI 업무를 저희와 같은 특정 부서만 하는 게 아니라 전사적으로 AI 리터러시를 강화하는 활동들을 하고 있다"며 "기술 자체도 중요하지만 조직이 얼마나 잘 준비돼 있는지, 얼마나 긍정적인 변화를 만들어 나갈 수 있는지가 더 중요하다고 생각한다"고 강조했다.

특히 김 매니저는 프라이빗 LLM 모델에 대한 파인 튜닝(Fine-tuning)보다는 활용성 제고에 무게를 두고 있다고 언급했다. 김 매니저는 향후 고도화 방안을 묻는 질문에 "LLM 모델의 성능은 상당 수준 올라왔다고 생각한다"며 "RAG 기반의 최신 정보를 반영하고 업무 적용범위를 확장하기 위해 노력할 것"이라고 답했다.

케이뱅크는 규제 대응과 리스크 관리를 위한 자동화 및 정합성 확보에도 생성형 AI를 도입할 계획이다. 내부 생산성 향상을 넘어 컴플라이언스 영역으로 적용 범위를 넓혀가겠다는 게 김 매니저의 설명이다.

자체 개발한 생성형 AI 기술을 대고객 서비스에 적용하는 것도 과제다. 김 매니저는 "현재는 서비스가 종료된 AI 퀴즈 챌린지는 고객과의 새로운 접점을 만들어본 의미있는 시도였다고 생각한다"며 "이를 기반으로 다양한 대고객 서비스들을 기획하고 있다"고 설명했다.

프라이빗 LLM은 향후 AI 기반 내부 규정 질의 응답, 보고서 자동 생성, 대고객 AI 에이전트(가상비서) 서비스로도 확대될 예정이다. 고객의 금융 패턴을 분석해 상품 추천이나 절차 안내 등 맞춤형 응대를 제공하는 AI 기반 고객지원 시스템이 핵심이다. 향후에는 고객 등급·이용 내역·상담 이력에 따라 차별화된 응대를 제공하는 구조로 진화시킬 계획이다.

"좀 더 유연하고 속도감 있는 규제 정비 기대"···규제 유연성 제안

끝으로 김 매니저는 속도감 있는 망분리 규제완화, 혁신금융서비스 지정 절차의 간소화 등을 금융당국에 제언했다. 망분리 규제완화 속도가 떨어지고 내부업무용 AI 기술은 여전히 진입장벽 높다는 지적이다.

김 매니저는 "망분리 개선 로드맵은 현업 입장에서 매우 반가운 변화지만 좀 더 속도감 있고, 좀 더 유연하게 제도가 정비됐으면 하는 바람이 있다"며 "현재는 대고객 서비스 중심으로 지정되고 있는 혁신금융서비스도 내부 업무에 대한 수요를 반영해 지정 절차가 간소화되거나 유연해졌으면 좋겠다"고 말했다.