카카오뱅크, 머신러닝 기술로 보이스피싱 차단···금융소비자 보호 '총력'

유심 해킹 사태에 이상거래 탐지 시스템 중요성 부각

카카오뱅크, FDS 전면 내재화로 정밀 탐지 체계 구축

생체인증·통신데이터·신규 ML 도입으로 사기 대응 고도화

민재호 카카오뱅크 FDS팀장이 지난 29일 카카오뱅크 판교사옥에서 뉴스웨이 취재진과 만나 인터뷰를 하고 있다. 사진=강민석 기자 [e-mail]

"비정상 거래는 굉장히 유사 패턴으로 보이는 경우가 많기 때문에 타이밍을 놓치면 못 막습니다. 카카오뱅크는 머신러닝 기술을 적용한 FDS를 바탕으로 이상 거래 징후를 탐지해 35억원 규모의 결제를 차단해 피해를 예방했습니다"

최근 SK텔레콤의 유심(USIM) 정보 해킹 사고로 금융권의 긴장감이 높아지고 있다. 해커가 유출된 유심 정보로 금융앱에 접근할 수 있다는 공포심이 퍼지고 있어서다. 금융사 내부의 이상거래 탐지시스템(FDS)의 피해 확산 방지를 위한 역할이 더욱 중요해지고 있다는 얘기다.

특히 보이스피싱 수법은 진화를 거듭하면서 기존 규칙 기반 시스템으로는 실시간 대응이 어려워졌다. 이에 카카오뱅크는 머신러닝 기반의 FDS를 전면 내재화해 정밀 탐지 체계를 구축했다. 외부 협업 없이 FDS를 자체 구축한 카카오뱅크는 다양한 룰을 설계하고 현업에 빠르게 도입해왔다.

민재호 카카오뱅크 FDS팀장이 지난 29일 카카오뱅크 판교사옥에서 뉴스웨이 취재진과 만나 인터뷰를 하고 있다. 사진=강민석 기자 [e-mail]

35억원 사기 피해 막아낸 머신러닝···"이상거래 징후 빠르게 포착"

지난해 말 기준으로 카카오뱅크가 이상거래 탐지 등을 통해 금융사기로부터 보호한 누적 금액은 648억원에 달한다. 특히 2023년 한 해 동안 이상 징후를 사전에 감지해 결제를 차단한 금액만 35억3000만원에 이른다. 앱 내에서는 해외결제 차단 기능을 통해 도난·위·변조 카드의 해외 부정 사용을 막는 데 활용되고 있다.

지난 29일 카카오뱅크 판교사옥에서 만난 민재호 FDS팀장은 시중은행 출신의 '룰 설계자'다. 민 팀장은 "카카오뱅크는 본점 중심으로 전문성을 살릴 수 있다는 점이 매력적"이라며 "원래는 리스크 관리 업무를 맡았지만 FDS 룰을 설계하면서 실제 사고를 막는 일에 더 의미를 느꼈다"고 운을 뗐다.

약 20여명으로 구성된 FDS팀은 ▲보이스피싱 룰 기획 및 실시간 관제 ▲전자금융 부정사용 탐지 ▲지급정지·명의인 상담 등을 담당하는 금융사기 전담센터 운영 등을 맡고 있다. 관제는 오전 9시부터 자정까지 이뤄지며, 금융당국 가이드라인(20시)보다 확대된 시간대다.

FDS 탐지 시스템의 핵심은 머신러닝(ML)이다. 현재 운영 중인 주요 ML 모델은 ▲출금 ML ▲문진 ML ▲무자각 인증 ML ▲대출 ML 등이다. 출금 ML은 보이스피싱 자금을 ATM으로 출금하려는 시도를 탐지하며, 무자각 인증 ML은 터치 좌표와 입력 습관을 기반으로 고객 연령대를 추정해 이상 징후를 잡아낸다.

민 팀장은 "조건을 붙이다 보면 규칙이 무한히 늘어나고, 연령·금액별로 세분화하다 보니 운영자 입장에선 관리가 쉽지 않았다"며 "이에 따라 확률 기반 머신러닝 방식으로 구조를 바꿨고, 이후 탐지율이 유의미하게 개선됐다"고 강조했다.

민재호 카카오뱅크 FDS팀장이 지난 29일 카카오뱅크 판교사옥에서 뉴스웨이 취재진과 만나 인터뷰를 하고 있다. 사진=강민석 기자 [e-mail]

처음부터 직접 구축한 FDS···"내재화가 카뱅 경쟁력"

카카오뱅크 FDS의 가장 큰 특징은 구축 초기 외부 솔루션에 의존하지 않고 처음부터 자체 개발해 온 점이다. 민 팀장은 "타사는 외부 솔루션을 들여와 점차 내재화하는 구조지만, 우리는 출범 전부터 기획과 운영을 병행했다"며 "덕분에 룰 설계자와 개발자 간 피드백이 빠르고, 시스템을 내부 환경에 맞게 고도화할 수 있었다"고 강조했다.

민 팀장은 "FDS는 탐지 시점을 어디로 잡을지, 어떤 문진을 어느 타이밍에 띄울지를 정하는 게 핵심"이라며 "모델 성능보다도 중요한 건 고객을 언제 어떻게 설득하느냐"라고 강조했다.

이어 "탐지 시스템이 아무리 뛰어나도 고객이 괜찮다고 하면 막을 수 없다"며 "영상통화로 설득해도 통하지 않고, 피해를 당한 후에야 돌아서는 경우가 많다"고 부연했다. 단순한 조건 탐지가 아니라 '설득 가능한 룰'이 필요하고, 투자사기 등 신종 유형에 대응하기 위해서는 ML 룰 설계 자체가 바뀌어야 한다는 설명이다.

카카오뱅크의 모든 ML 모델은 6개월 단위로 성능을 점검하고 업데이트한다. 이에 대해 민 팀장은 "조건 기반 탐지로는 관리가 어렵고, 머신러닝으로 전환한 뒤 탐지율과 실효성이 개선됐다"고 부연했다.

카카오뱅크 FDS팀은 ML 모델 성능을 높이기 위해 AI 전담조직과의 정기 협의체를 운영하고 있다. 모델러, 데이터사이언티스트, IT개발자, 룰 기획자가 AI실에서 개발 중인 모형의 탐지 정확도와 현장 적용성을 점검하고, 신종 사기 유형에 대한 정보를 모델 업데이트에 반영한다. 개발자와 운영자가 한 팀처럼 움직이면서 현장에 신속히 대응하고 있다는 설명이다.

민재호 카카오뱅크 FDS팀장이 지난 29일 카카오뱅크 판교사옥에서 뉴스웨이 취재진과 만나 인터뷰를 하고 있다.사진=강민석 기자 [e-mail]

생체인증·통신사 데이터·신규 모델···고도화는 현재진행형

올해 중점 과제로는 FDS에 생체 기반 본인확인 절차를 결합하는 작업이 추진된다. 기존에는 셀카 인증과 영상통화 인증이 제한된 케이스에만 활용됐지만, 향후에는 이상거래 탐지 시 자동으로 인증을 연동해 보다 다양한 케이스에서 실시간 판별과 해제를 가능하게 할 계획이다. 카카오뱅크는 간단하고 간편한 생체인증을 통해 고객 불편을 줄이는 동시에, 이상거래 탐지의 정확성과 효율성을 함께 높이겠다는 목표다.

또한 통신사 데이터를 포함한 비금융 정보와 기존 금융 데이터를 결합해 보다 정교한 탐지 모형을 개발하는 방안도 추진된다. 특히 유심 변경 이력이나 회선 지속기간, 악성 앱 탐지 여부 등의 정보를 금융거래 패턴과 함께 분석해 보이스피싱이나 본인 미사용 거래를 조기에 걸러내는 데 활용할 계획이다.

카카오뱅크는 이미 출금, 문진, 무자각 인증 등 다양한 ML 모형을 운영 중이지만, 사기사고 양상이 더욱 다양하고 정교해지는 만큼 신규 모델 도입도 추진한다. 특히 선불결제 플랫폼 등 외부 경로를 통한 자금 유출 탐지를 위해 고객의 앱 사용 흐름과 이체 경로를 종합 분석하는 방식의 모델이 하반기 적용될 예정이다.

끝으로 민 팀장은 금융당국에 속도감 있는 정책 지원도 요청했다. 민 팀장은 "최근 보이스피싱 피해가 급증하고 있어 금융당국과도 긴밀히 소통하고 있다"며 "앞으로도 지금처럼 AI 등 신기술 도입이 원활하게 이뤄질 수 있도록 금융당국이 관심을 갖고 지원해줬으면 한다"고 말했다.