RAG와 LLMOps 솔루션으로 AI Summit Seoul 2024에서 주목받은 에이프리카

AIS Seoul 2024에서 폐쇄망 환경에서도 안정적으로 운영 가능한 RAG와 LLMOps 솔루션을 공개하며 큰 관심을 받았습니다.

AIFRICA

Dec 13, 2024

RAG와 LLMOps 솔루션으로 AI Summit Seoul 2024에서 주목받은 에이프리카

Contents

폐쇄망 환경에서 최적의 성능을 발휘할 수 있는 AI 모델 구축 방안을 제시하다.폐쇄망 LLMOps 구축에 대한 높은 관심

지난 12월 10일부터 11일까지 코엑스에서 열린 AI Summit Seoul 2024에서 에이프리카는 AI 통합 플랫폼 ‘치타’와 ‘가젤 RAG’를 선보이며 성공적으로 행사를 마쳤습니다.

이번 AI Summit Seoul 2024는 국내 최대 규모의 AI 컨퍼런스로, 글로벌 기업과 전문가들이 한자리에 모여 최신 AI 기술과 산업 트렌드를 공유하는 자리였습니다. 에이프리카는 전시 부스와 세션 발표를 통해 폐쇄망 환경에서도 효과적으로 활용 가능한 LLMOps와 RAG 솔루션의 강점을 알렸습니다.

폐쇄망 환경에서 최적의 성능을 발휘할 수 있는 AI 모델 구축 방안을 제시하다.

행사 둘째 날인 12월 11일, 에이프리카 인공지능연구소 주철휘 소장은 ‘기업 폐쇄망에서의 Private LLM 기반 Agentic RAG 구축’이라는 주제로 강연을 진행했습니다.

이번 강연에서는 RAG의 기본적인 구조와 흐름에 대한 설명을 시작으로, 에이프리카의 LLMOps 플랫폼 ‘치타’를 활용한 사례와 최근 주목받는 Agentic RAG 기술까지 폭넓은 주제가 다뤄졌습니다. 특히 폐쇄망 환경에서 Private LLM, Agentic RAG, LLMOps 솔루션을 통해 제한된 인프라에서도 고성능 AI를 구축하고 안정적으로 운영할 수 있는 방안이 자세히 소개됐습니다.

AIS Seoul 2024에서 강연 중인 에이프리카 인공지능연구소 주철휘 소장

이날 발표에서는 기존 RAG의 한계를 보완한 Agentic RAG 기술이 중점적으로 소개되었습니다. 주철휘 소장은 “Agentic RAG는 단순한 검색을 넘어 탐색적 검색, 동적 프롬프트 생성, 외부 툴 통합을 통해 더 지능적이고 발전된 워크플로우를 지원한다”며, “회고 기반 복합 질의 처리와 동적 데이터 접속 기능으로 확장된 지식 기반에서 심층적인 문제 해결이 가능하다”라고 설명했습니다.

이어서 에이프리카의 LLMOps 솔루션 ‘치타’에 대한 소개가 진행됐습니다. 주철휘 소장은 “치타는 데이터 전처리부터 파인튜닝, 모델 서빙, 추론 모니터링까지 LLM 기반 개발·운영의 전체 라이프사이클을 효율적으로 통합 관리할 수 있다”며, “최적의 LLM 파인튜닝을 지원하는 파이프라인과 오토스케일링 기술을 통해 예상치 못한 트래픽 증가에도 안정적인 서비스를 제공하고, 실시간 추론 현황 모니터링으로 대규모 기업에서도 안정적이고 효율적인 모델 서빙 관리가 가능하다”고 강조했습니다.

"기업 폐쇄망에서의 Private LLM 기반 Agentic RAG 구축" 주제로 강연 중인 주철휘 소장

주철휘 소장은 또한, “Private LLM, Agentic RAG, 그리고 LLMOps를 기반으로, 폐쇄망 환경에서도 고객의 다양한 요구에 맞는 최적화된 정보 처리 기술을 개발하고, 최신 AI 기술을 빠르게 반영하여 최고 수준의 성능을 안정적으로 제공하기 위해 노력하겠다”며 발표를 마무리했습니다.

이날 발표에는 수백여 명의 청중이 모여, 폐쇄망 환경에서의 LLM 및 RAG 기술에 대한 높은 관심을 보였습니다. 대부분이 청중들이 발표 내내 집중하며 주요 내용을 메모하거나 발표 자료를 사진으로 기록하는 등 열정적인 반응을 보였습니다.

폐쇄망 LLMOps 구축에 대한 높은 관심

주철휘 소장의 발표 못지 않게 에이프리카 전시부스에도 많은 관심이 모였습니다. 행사 기간 내내 많은 참석자들의 다양한 질문이 이어졌습니다. 특히 폐쇄망 환경에서 LLMOps 구축과 운영 방법에 대한 질문이 가장 많았습니다. 치타와 가젤 RAG를 활용한 데이터 전처리, 파인튜닝, 추론 모니터링 등 구체적인 구현 방안 및 기존 폐쇄망에서의 구축 사례 를 바탕으로 다양한 질문들이 쏟아졌습니다.

에이프리카 부스를 방문한 한 참석자는 “저희처럼 대기업 대부분은 폐쇄망 환경이라 AI 구축에 대한 진입장벽이 높고, 최신 기술을 활용하는 데 한계가 있다고만 생각했습니다. 하지만 에이프리카의 솔루션은 폐쇄망 환경에서도 높은 성능과 확장성을 동시에 충족할 수 있도록 설계되어, 우리가 고민했던 문제들을 해결할 가능성이 있어 보입니다. 설명을 듣고 나니 실제로 적용해 볼 수 있을 것 같아 상담을 신청했습니다”라고 말했습니다.

또 다른 한 참석자는 "Private LLM을 위한 LLMOps 솔루션을 여러 가지 비교해봤는데, 에이프리카의 치타는 데이터 전처리부터 추론 모니터링까지 전 과정을 통합적으로 관리할 수 있는 점이 좋고, 실제 폐쇄망 환경에서 안정적으로 운영된 사례가 있어서 신뢰가 간다”고 말했습니다.

이와 같이, 폐쇄망 환경에서도 안전하고 효율적으로 AI를 도입할 수 있는 솔루션으로 에이프리카의 기술력을 높이 평가했습니다. 에이프리카 영업 총괄을 맡고 계신 박병준 님은 “이번 AI Summit Seoul 2024를 통해 폐쇄망 환경에서도 안정적으로 활용할 수 있는 LLMOps와 RAG 솔루션을 더욱이 잘 알릴 수 있어 뜻깊은 자리였습니다. 앞으로도 고객 요구에 부응하며 엔터프라이즈 AI에 적합한 플랫폼으로 자리 잡기 위해 최선을 다하겠습니다”라고 포부를 밝혔습니다.

이번 AI Summit Seoul 2024는 에이프리카가 AI 통합 플랫폼 치타와 가젤 RAG를 통해 엔터프라이즈 AI 시장에서의 입지를 더욱 공고히 한 자리였습니다. 앞으로도 다양한 산업에서 고객의 디지털 전환을 지원하기 위해 노력하겠습니다.