생성형 AI에 대한 열기가 여전히 뜨겁습니다. 글로벌 컨설팅 회사인 EY(Ernst & Young)에 따르면 2024년 1분기 동안 전 세계적으로 생성형 AI에 30억 달러가 투자되었고, 연말까지는 그 규모가 총 120억 달러까지 커질 것으로 예상된다고 합니다.
이러한 가운데 지난 글을 통해서 RAG가 적용된 생성형 AI를 개발할 때 반드시 고려해야 할 세 가지를 살펴봤는데요
이번 시간에는 생성형 AI가 실제 현장에서 어떤 성과들을 만들고 있는, 에이프리카에서 컨설팅팀을 총괄하고 있는 권현수님(이하 현수님)과의 문답을 통해 자세히 알아보겠습니다.
생성형 AI를 통한 '법령정보 플랫폼' 구축으로 업무 효율과 만족도를 높이다.
< K위원회 사례 >
Q. 생성형 AI는 주로 어떤 산업 분류에 속한 기업에서 많이 활용하고 있나요?
현수님: AI 시장 전체를 보거나, 저희 에이프리카의 고객사를 봤을 때도 어느 특정 산업 분류에 국한되어 있지는 않습니다. 민간기업뿐 아니라 공공·행정기관까지 다양한 곳에서 생성형 AI를 도입해서 활용 중에 있거나, 도입을 검토하고 있습니다. 특히 BCG에서 발행한 보고서에 따르면 전 세계적으로 공공·행정기관의 생성형 AI 도입 규모가 연간 50% 이상으로 예상된다고 합니다.
Q. 주로 공공·행정기관은 생성형 AI를 어떻게 활용하고 있나요?
현수님: 우선 저희 고객사인 K 위원회 사례를 말씀드리면, K 위원회는 업무 특성상 다양한 법령정보(법률/민원/분쟁 정보 등)를 다루고 있습니다. 하지만 이전까지는 대부분 문서 형태(PDF, HWP 등) 로만 관리가 되어 있어서 활용이 어려운 상황이었습니다. 예를 들어 특정한 분쟁 사례를 찾아보기 위해선 관련 문서를 하나하나씩 다 열어봐야 하는 상황이었죠.
이와 같은 어려움을 해결하기 위해서 K 위원회는 LLM을 활용하여 우선 내부적으로 활용할 수 있는 [법령정보 플랫폼]을 구축했습니다. 그동안 산재되어 있던 법령정보를 포털에서 자유롭게 활용할 수 있게 한 거죠. 단순히 검색과 질의응답에서 그치지 않고 생성형 AI를 통한 다양한 인사이트도 얻을 수 있게 되었습니다.
Q. 그럼 내부 업무 효율이나 만족도가 많이 올라갔겠군요?
현수님: 네, 이전과 비교해 봤을 때 업무 속도만 빨라진 것이 아니라, 이전에 할 수 없었던 분석까지 할 수 있어서 내부 만족도와 업무 효율이 크게 상승한 것으로 알려졌습니다. 또한 매일 새롭게 업데이트되는 최신 정보들도 플랫폼에서 활용할 수 있어 좋은 반응을 얻고 있습니다.’
Q. K 위원회 사례에서 치타(Cheetah)는 어떤 역할을 했나요?
현수님: 치타는 현재 K 위원회가 구축한 LLM(법령정보 플랫폼)을 지속적으로 파인 튜닝하고 원활하게 배포하는데 활용되고 있습니다. 특히 날마다 다양한 경로로 유입되는 증분 데이터의 전처러와 통합·저장 등 데이터 관리는 물론, 파인튜닝에서 관리까지 전과정을 워크플로 기능을 통해 자동화함으로써 보다 신속하고 효율적인 LLMOps 프로세스를 구축하였습니다.
복잡하고 반복적인 과정을 최소화하여 AI 개발자와 데이터 분석가들의 생산성을 높이고 모델 개선과 서비스 확대에 집중할 수 있는 환경을 구성할 수 있게 된 것이죠.
필요한 정보를 빠르게 활용할 수 있는 질의응답 시스템을 구축하다.
< A연구원 사례>
Q. 생성형 AI를 통해 업무 효율이나 만족도를 높인 또 다른 사례도 있나요?
현수님: 엔지니어링(대규모 건축·토목 등) 분야의 기업들이 필수 정보를 보다 빠르게 접근하고 활용할 수 있도록 질의응답 시스템을 구축한 A 연구원도 좋은 사례입니다.
그동안 엔지니어링 산업에서는 주요 정보인 설계 문서의 종류와 내용이 매우 방대했습니다. 따라서 기업들이 설계문서를 검색해서 참조하고 활용하는데 어려움이 많았죠. 이에 A 연구원에서는 에이프리카 '치타'와 '가젤'을 통해 [엔지니어링 통합 빅데이터 플랫폼]을 구축하였고 곧 서비스가 시작될 예정입니다.
Q. 추가적인 특징이 있다고 하던데, 구체적으로 어떤 특징인가요?
현수님: A 연구원이 구축한 [엔지니어링 통합 빅데이터 플랫폼]에는 생성형 AI 모델의 답변의 정확도를 높여주는 'RAG(검색 증강 생성)'이 적용되었습니다.
따라서, 표준 설계 기준과 같은 엔지너이링 문서 데이터로 파인튜닝한 프라이빗 LLM과 이 문서 데이터에 기반한 RAG 기술로 높은 정확도의 질의응답이 가능해졌고, 기존에 학습된 내용뿐 아니라 최신 관련 법·규정 정보와 설계·시공 사례까지 반영할 수 있게 되었습니다. 이를 통해 향후 국내 엔지니어링 기업들의 디지털 설계 경쟁력이 강화될 것으로 기대되고 있습니다.
어떤 질문이든 빠르고 정확하게 답하는 챗봇을 통해 고객 만족도를 높이다
<세렝게티 사례>
Q. 고객을 대상으로 생성형 AI를 활용한 사례도 있나요?
현수님: 멀티 클라우드 통합 관리 플랫폼인 세렝게티(Serengeti) CMP에 탑재 된 '세렝게티 챗봇'이 좋은 사례입니다.
세렝게티는 다양한 클라우드 환경과 VM/컨테이너를 관리할 수 있는데요, 이 솔루션에 생성형 AI인 '세렝게티 챗봇'이 탑재되어 활발하게 활용되고 있습니다.
Q. 구체적으로 어떻게 활용되고 있나요?
현수님: 우선 두 가지로 분류할 수 있는데요. 세렝게티를 개발하고 운영하는 개발팀에서 코딩과 메일 발송, 주요 문서 작성 시에 활용하고 있습니다. 그리고 세렝게티를 사용하는 고객사에선 사용법에 대한 질의응답이나 현재 클라우드 현황에 대한 파악의 용도로 사용되고 있습니다.
우선 코딩 업무입니다. 세렝게티 PaaS를 통해 애플리케이션을 개발하는 개발자분들은 간단한 코드와 스크립트를 작성하거나 코드 검증에 챗봇을 활용하고 있습니다.
A 연구원과 마찬가지로 최신 정보를 반영하여 정확한 답변을 제공하는 RAG 기술이 적용되어 있기에 만족도가 매우 높은 편입니다. 세렝게티 뿐만 아니라 에이프리카의 다른 서비스에도 생성형 AI를 기반으로 한 챗봇이 탑재되어 고객 만족도를 높이는데 큰 역할을 하고 있습니다.
Q. 마지막으로 생성형 AI 도입이나 활용을 고민하는 분들에게 당부하시고 싶은 말씀이 있다면?
현수님: 생성형 AI가 정말 뜨거운 이슈이고, 많은 기업들이 도입을 고민하고 있습니다. 그리고 그 고민의 속도보다 빠르게 AI 기술은 발전하고 있고요. 그렇기 때문에 신중하지만 빠른 결정을 내리는 것이 중요합니다.
생성형 AI를 성공적으로 도입하기 위해서는 먼저 AI 도입의 목적과 방향을 구체화하고, 그에 맞는 양질의 데이터와 이를 기반으로 한 AI 모델, MLOps 인프라 등을 함께 준비해야 합니다. 만약 어디서부터, 무엇을, 어떻게 준비해야 맞는 걸까?라는 고민을 하고 계시다면, 그 고민의 초기부터 에이프리카와 같이 다양한 경험을 가진 전문가의 도움을 받으시길 추천드립니다.