금융 산업에서 AI 활용 시, RAG의 중요성
2025.06.30
금융 산업에서 AI 활용 시, RAG의 중요성
by 김준회(BC카드 카드사업기획팀)
금융 산업에서 AI 활용 시, 직면한 문제점
필자는 바로 지난 Podium에서 국내외 금융회사의 AI 활용사례를 소개하면서, 고객에게는 초개인화 서비스를 통해 더 편리하고 효율적인 방법으로 최상의 고객 경험을 제공하고, 기업 운영에서는 업무 자동화 등을 통해 비용을 절감하고 효율성을 제고함으로써 업무 생산성의 혁신을 꾀하고 있다고 말했다. 생성형 AI 모델이 지속적으로 발전하면서, 예측, 추론 등의 영역에서 여러 가지 문제를 해결하는데 적용하고 있지만, 여전히 금융 산업에서는 생성형 AI를 활용하는데 있어 다음과 같은 문제에 직면하고 있다[1].
첫째, 데이터의 적시성이다. GPT-4가 나오기 이전에는 과거의 데이터만을 학습하여 답변했기 때문에, 최신의 데이터를 제공할 수 없는 문제점이 있었다. 하지만 이 문제는 ChatGPT의 유료버전인 GPT-4가 나오면서, 비용만 감당이 가능하다면 어느 정도 적시성 해결이 가능하게 되었다.
둘째, 금융 특화 지식 이해 부족이다. ChatGPT를 포함한 LLM의 대부분 학습 데이터는 특정 분야의 전문 지식이 아니라, 일반적인 지식(학습 데이터의 양은 매우 많지만)을 포함하고 있는 경우가 많다. 때문에 거미줄처럼 복잡하게 얽혀 있는 금융 시스템의 매커니즘을 생성형 AI 모델이 완전히 이해하고 답변을 하기에는 어려움이 따른다. 또한 금융 산업의 서비스 특성상, 표나 그래프 형식의 데이터가 많아 이를 정확히 인식하지 못하는 문제도 있다.
셋째, 답변 결과에 대한 뚜렷하지 않은 근거이다. 흔히 블랙박스라고 불리는 특성으로, 답변이나 의사결정 과정의 출처나 근거를 생성형 AI 모델이 제공하지 못해 고객에게 신뢰성 있는 서비스를 제공할 수 없으며, 규제 산업인 금융 산업 특성상 금융 당국의 가이드라인을 완전히 충족했다고 뒷받침할 근거가 부족한 측면이 있다.
위 직면한 문제에 대해서 해결할 수 있는 핵심 KEY로 RAG 기술에 주목할 필요가 있다.
[그림 1 – RAG 기술 이미지. Copyright. NVIDIA KOREA]RAG란 무엇인가?
RAG(Retrieval-Augmented Generation)란, 말 그대로 검색 기반 생성이다. 일반적인 생성형 AI 모델(LLM – Large Language Model)이 사전 학습된 데이터만으로 응답을 생성하는 것과 달리, RAG는 다음 두 과정을 추가로 진행한다. 바로 ‘검색(Retrieval)’과 ‘생성(Generation)’이다. ‘검색’의 경우, 사용자의 질문에 대해 관련된 내외부 문서에서 적합한 텍스트를 검색하는 과정으로 정보의 최신성과 확장성이 보장된다. ‘생성’의 경우, 검색된 내용을 LLM에 제공하여 출처 기반으로 근거 있는 응답을 제공하는 과정으로, 정확성이 보장된다.
[그림 2 – RAG 기술의 질문&답변 프로세스]RAG 활용의 장점과 예시
그렇다면, 위와 같은 RAG 기술이 금융 산업에서 왜 중요할까? 그 이유는 금융 산업에서 정보의 최신성과 정확성은 매우 중요한 요소이기 때문이다. 기본적으로 금융 산업은 트랜잭션이 매우 많기 때문에, 정보의 업데이트가 굉장히 빠르고 시간이 지나면서 정보의 가치는 급격히 하락하게 된다. 단편적인 예로, 기업에 대한 투자 보고서나 실적 발표 등에 대한 정보의 가치는 해당 정보가 노출된 시점에 가장 중요한 경우가 많다.
또한, 금융 산업의 매커니즘은 대내외적으로 촘촘하게 얽혀 있기 때문에 일부의 변화가 연쇄적으로 영향을 끼치는 경우가 많다. 즉, 잘못된 정보 하나가 매우 큰 리스크가 될 수 있으므로, 정확성은 중요한 요소이다. RAG 기술의 경우 실시간으로 뉴스, 시장정보 등을 검색해 답변에 반영할 수 있으며, 정보의 타임스탬프와 출처를 함께 명시해줄 수 있어 최신성과 정확성을 보존할 수 있다.
또한, 금융 기관의 경우 고객 약관, 내부 고객 상담 기록, 보고서, 품의, 규정 등 보안상 모델 학습에는 사용하기 어려운 방대한 내부 문서가 많은데, RAG 방식을 통해 사내 DB를 검색하고 결과값을 모델에 전달할 수 있어 금융기관에 특화된 데이터로 업무 적용이 가능하다.
이를 테면, 트랜잭션이 매우 많은 지급 결제 데이터에서 FDS 시스템은 AI를 활용하여 의심거래 또는 사기거래의 숨겨진 패턴을 찾고 분류해내고 있으나, 복잡한 패턴의 경우 해당 거래가 왜 의심거래인지 설명하기 어려운 경우가 있다. RAG 기술을 활용할 경우, 실시간으로 최신의 외부 유사 사례와 사내 규정, AML 문서 등을 검색하여 분석 결과와 탐지 이유 등에 대해서 답변을 생성해 줄 수 있다. 또한, 고객의 결제 실패 경험에 대해 단순히 ‘IC칩 오류’, ‘결제 불가’, ‘의심 거래’ 등과 같이 똑같은 응답코드만 반환하는 대신, IC칩의 어떤 오류 때문에 실패가 발생했는지, 왜 결제가 불가하고 의심 거래로 판단되었는지 등에 대해 고객의 결제 이력과 상황에 맞춰 정확한 사유를 설명해줄 수도 있을 것이다.
RAG 기술 발전 흐름과 향후 방향
RAG 기술은 크게 Naïve RAG, Advanced RAG, Modular RAG 차례로 기존의 한계점을 극복하며 더 나은 방향으로 진화해왔다[2]. 초기 Naïve RAG의 경우 검색(Retrieval) 쿼리와 문맥의 유사성을 단순 벡터 유사도(Similarity) 계산에만 의존하여, 정확한 답변을 제공하기 어려운 한계를 지녔다. 이 문제점을 해결하기 위해 Advanced RAG의 경우, 인덱싱 개선을 통해 검색 기능을 향상하고 검색 전/후 처리, 그리고 의미론적 유사성(Semantic) 반영을 통해 성능을 개선하였다.
하지만 이 역시 복잡해진 시스템 구조로 인해 유지보수 및 제어가 어려운 한계점이 있었으며, 이를 해결하기 위해 Modular RAG가 등장했다. Modular RAG의 경우, 유사성 검색을 위한 검색 모듈 추가 및 미세 조정을 추가하였으며, 시스템 모듈화를 통해 유연한 확장 구조와 용이한 시스템 유지보수를 제공하였다.
앞으로도 RAG 기술은 기존의 RAG 한계점과 LLM 기술의 한계점을 보완하는 방향으로 발전해 나갈 것이다. 현재 RAG는 금융 산업에서 LLM을 실무적으로 정확하고 안전하게 접목시키는 가장 실용적인 기술로 평가 받고 있으며, 선택이 아닌 필수가 되고 있다. 앞으로 LLM 및 RAG 기술의 발전과 금융 산업의 발전에 귀추가 주목된다."끝".
[그림 3 – Retrieval-Augmented Generation for Large Language Models: A Survey][1] Allganize 리포트 ‘금융권 AI 도입 전략과 활용 사례’
[2] Yunfan Gao et al., “Retrieval-Augmented Generation for Large Language Models: A Survey”, arXiv:2312.10997, 2023.
상기 콘텐츠의 모든 저작권은 BC카드 신금융연구소 (이하 'BCiF')에 있으며, 무단 도용을 금합니다.
본 자료를 인용 및 발췌하고자 할 경우 출처를 명확하게 표기해야 합니다.
본 자료를 인용 및 발췌하고자 할 경우 출처를 명확하게 표기해야 합니다.
김준회
BC카드 상품개발팀, 데이터분석팀, 데이터사업팀을 거쳐 현재 카드사업기획팀에서 근무 중인 그는 연세대학교에서 응용통계학을 전공한 뒤 고려대학교에서 인공지능융합학 공학석사 학위를 취득하면서 이론과 실무적 역량을 두루 갖춘 AI·빅데이터 전문가입니다.