지난 포스팅을 통해서 AI 할루시네이션의 원인과 해결 방안을 알아보았습니다.
AI의 할루시네이션(환각현상)을 해결하고 모델의 정확도를 높이기 위한 대표적인 방안으로 'RAG'가 계속해서 주목받고 있는데요, RAG는 정확히 무엇이고 어떠한 장점과 적용 사례가 있는지 자세히 살펴보겠습니다.
RAG는 무엇인가?
RAG(Retrieval-augmented generation, 검색 증강 생성)는 대규모 언어 모델(LLM)이 출력하기 전에 학습된 데이터 외에 추가로 '신뢰할 수 있는 최신의' 데이터를 참조하도록 하는 기술입니다.
기본적으로 LLM이 답변을 생성할 때, 신뢰할 수 있는 최신의 정보를 사용해서 정확한 답변을 하도록 도와주는 도구라고 할 수 있죠,
예를 들어, LLM을 통해 '고객 관리 프로그램'을 만들었다고 가정해 보겠습니다.
RAG가 적용되기 전 기존 LLM은 학습 한(훈련받은) 데이터에만 의존합니다. 따라서 2023년 12월 31일 이후의 정보가 포함되지 않을 수 있죠. 이러한 제한은 후속 데이터를 확인할 수 없으며 실제 주문 데이터가 아닌 가상의 주문내역을 바탕으로 '자연스러운 거짓말'을 만드는, 이른바 '할루시네이션(환각현상)'을 일으킬 수도 있습니다.
하지만 RAG를 적용한다면, 최신의 데이터(최신 구매 및 검색 이력)를 바탕으로 한 답변을 얻을 수 있기 때문에 업무성과를 더 높일 수 있죠. 이처럼 최신의 데이터를 반영할 수 없고 때로는 부정확한 답변을 제공하는 LLM의 단점을 보완하는 것이 바로 RAG입니다.
따라서 LLM을 활용하는 기업이 늘어나면서 RAG에 대한 관심도 계속 커지고 있는데요, 그렇다면 RAG의 구체적인 장점은 무엇일까요?
RAG의 구체적인 장점은 무엇일까?
앞서 예시 사례를 통해 살펴본 것처럼 RAG는 최신 정보를 활용해서 답변의 정확도와 효율성을 높여주는데요, 이외의 장점들에 대해서 자세히 알아보겠습니다.
정확하고 신뢰도 높은 답변 제공
RAG는 신뢰할 수 있는 최신 데이터베이스(최신 연구, 통계, 뉴스 등)에서 정보를 참조하여 답변을 생성할 수 있습니다. 이 접근 방식을 사용하면 LLM이 학습한 내용만으로 답변을 생성하는 것보다 훨씬 더 정확한 답변을 얻을 수 있습니다. 또한 RAG는 단순히 질문에 대한 답변을 생성하는 것을 넘어서, 질문의 문맥을 더 깊이 이해하고, 관련된 정보들을 종합하여 보다 정확하고 포괄적인 답변을 제공하게 합니다.
또한 RAG를 적용하면 답변에 사용된 정보(인용 또는 참조)를 제공할 수 있습니다. 따라서 사용자가 답변에 대한 추가 정보가 필요한 경우 직접 확인할 수 있기 때문에 AI 모델에 대한 신뢰도를 높일 수 있습니다.
AI 모델 구축 및 운영 비용 절감
전통적인 LLM은 필요로 하는 모든 정보를 미리 학습해야 하므로, 교육을 위한 광범위한 데이터와 시간이 필요합니다. 반면 RAG는 필요할 때 필요한 정보만 검색하고 사용하여 리소스 소비를 줄입니다. 이 방법은 RAG가 최신 문서나 데이터를 검색하여 최신 답변을 생성할 수 있어 빈번한 재교육을 필요로 하지 않기에 재교육 비용을 절감할 수 있습니다.
위 두 가지 이외에도 사용자의 이전 질문을 바탕으로 보다 개인화된 답변을 제공하는 것과 다양한 언어로 된 정보를 검색하고 활용할 수 있는 점도 RAG의 장점입니다. 이러한 다양한 장점을 가진 RAG를 적용한 사례는 어떤 것이 있을까요?
RAG를 적용한 다양한 사례는?
다양한 장점을 가진 RAG가 구체적으로 어떻게 적용되고 있는지 각 분야별로 살펴보겠습니다.
의료
의료 분야에서는 RAG를 활용해 최신 연구 결과와 임상 데이터를 실시간으로 AI 모델에 통합하여 활용하고 있습니다. 이를 통해 최신 의료 정보를 빠르게 접근하고 각 환자에게 맞춤형 치료를 제공함으로써 질병에 대한 치료 가능성을 높이고 있죠.
구체적인 사례로 피츠버그 메티컬 센터에서는 RAG가 적용된 AI를 활용하여 방사선 영상을 분석하여 종양에 대한 정확한 분석을 돕습니다. (종양 분석), 미국의 Mayo Clinic은 RAG 기반 AI를 사용하여 부정맥을 정확하게 감지합니다. (부정맥 감지), 사우스캐롤라이나 의과대학에서는 RAG를 사용하여 MRI 이미지를 분석하고 변화를 추적하며 질병 진행을 분석합니다. (질병 진행 추적)
법률
법률 문서 검색 및 분석에서 RAG는 판례, 법률 조항, 그리고 최신 자료(판례 및 논문 등)를 활용하여 효율을 높이고 비용을 절감하고 있습니다.
예를 들어 IBM의 LegalMation은 RAG 기술을 사용하여 법률 문서 작성과 분석을 자동화하여 좋은 평가를 받고 있습니다. LegalMation은 평균적으로 초기 법률 문서 작성 시간을 8시간에서 2분으로 단축시키고, 사건 당 약 3천 달러의 비용을 절감하는 것으로 나타났습니다.
LegalMation 예시 (출처: legalmation.com) 고객 서비스
구체적인 사례로 피츠버그 메티컬 센터에서는 RAG가 적용된 AI를 활용하여 방사선 영상을 분석하여 종양에 대한 정확한 분석을 돕습니다. (종양 분석), 미국의 Mayo Clinic은 RAG 기반 AI를 사용하여 부정맥을 정확하게 감지합니다. (부정맥 감지), 사우스캐롤라이나 의과대학에서는 RAG를 사용하여 MRI 이미지를 분석하고 변화를 추적하며 질병 진행을 분석합니다. (질병 진행 추적)
그 밖의 사례들
RAG가 적용된 인공지능 기반 통계 챗봇 서비스를 준비하고 있는 정부기관, 수많은 이벤트 정보를 고객에게 정확하게 전달하게 위해 이벤트 알림 AI 서비스를 사용하고 있는 금융사 등 다수의 기관과 기업에서 RAG가 적용된 AI 모델을 활용하고 있습니다.
지금까지 살펴본 것처럼 RAG는 생성형 AI 모델의 정확도를 크게 향상시켜주기 때문에 계속해서 주목받을 것으로 보입니다. 하지만 성공적인 RAG를 성공적으로 적용하기 위해서는 꼭 고려해야 할 사항들이 있습니다.
에이프리카에서 AI 연구를 담당하는 윤재형님의 말에 따르면
"우선 내 서비스와 목적에 맞는 적합한 AI 모델을 선정한 후 반복적인 튜닝을 통한 최적화와 데이터의 품질과 최신성을 유지하는 것이 중요하다. 또한 추론 시간 단축을 위한 효율적인 벡터 인덱싱과 리소스 최적화도 고려해야 한다. 따라서 이 과정에서 전문가의 지원이 매우 중요하다."라고 말했습니다.
에이프리카는 자체 솔루션인 '가젤 RAG'를 통해 할루시네이션과 보안에 대한 걱정 없이 LLM을 도입할 수 있도록 포괄적인 지원을 제공합니다. 고객이 보유하고 있는 다양한 문서 데이터에 대한 신속한 분석 및 데이터셋 생성을 제공하는 솔루션입니다.
프라이빗 LLM의 파인튜닝, 한글 문서에 특화된 임베딩 모델, 벡터 인덱스 및 데이터베이스 구성을 지원합니다. 또한 LLMOps 솔루션인 '치타'를 통해 모델 추론 시간과 리소스 사용량을 최적화합니다.
LLM 도입이나, LLM에 RAG 적용과 관련한 어려움과 궁금증이 있으시다면, 부담 없이 연락해 주시기 바랍니다. 에이프리카가 함께 고민하고 답을 찾아드리겠습니다.