스마트폰과 온라인 마켓, 포털, 플랫폼 서비스는 물론이고 교육, 바이오 과학에 이르기까지 '이제 AI가 활용되지 않은 분야가 있긴 할까?'라는 생각이 들 정도로 AI 기술이 거의 모든 곳에서 활용되고 있습니다.
이에 따라서 글로벌 AI 시장의 규모는 올해(2024년) 265조 원을 돌파한 후, 2030년에는 2,500조 원에 이를 것으로 예상됩니다. (출처: explodingtopics)
이처럼 AI의 중요성이 높아지는 가운데, AI를 개발하고 배포하며 관리하는 프로세스도 주목을 받고 있는데요. 우선 가장 대표적인 개념인 MLOps부터 자세히 살펴보겠습니다.
MLOps란 무엇인가
장점과 역할, 그리고 적용 사례
MLOps(Machine Learning Operations)는 머신러닝 모델을 효과적으로 개발, 배포 및 모니터링하는 프로세스입니다. 소프트웨어의 개발과 운영을 통합하여 효율성과 안정성을 높이는 DevOps(Development Operations)의 원칙을 머신러닝에 적용한 것이죠.
MLOps의 장점을 간략하게 살펴보면,
개발과 배포 속도 증가: 자동화된 워크플로를 통해 모델 개발과 배포 과정을 빠르게 반복 가능
일관된 품질 유지: 표준화된 프로세스와 지속적인 모니터링을 통한 품질 관리 가능
위험관리: 데이터 또는 모델의 성능 변화에 대한 실시간 대응 및 관리 가능
위와 같은 이점을 가진 MLOps는 기업이 머신러닝 모델을 실제 운영 환경에 효과적으로 통합하고 성능을 지속적으로 관리하여 비즈니스 가치를 극대화하는 데 필수적인 역할을 합니다.
MLOps는 2015년대 딥러닝 기술과 함께 등장 후 다양한 기업에서 활용되고 있습니다. 예를 들어 Netflix의 경우 MLOps를 활용하여 사용자의 시청 습관과 선호도를 바탕으로 한 개인화된 추천 콘텐츠를 제공합니다. 또한 대규모 데이터 세트를 활용하여 모델을 지속적으로 훈련시키고, 모델 성능을 모니터링하여 적시에 모델을 업데이트하거나 개선하고 있습니다.
이 밖에도 Uber와 Salesforce 등 다양한 기업에서 MLOps를 통한 딥러닝 기술이 활용되던 가운데 2022년 말 CHAT GPT의 등장으로 인공지능 업계는 큰 변화를 맞이하게 됩니다.
LLM과 LLMOps의 등장
탁월한 성과를 만들어내는 LLM, 그리고 LLM을 위한 LLMOps
CHAT GPT의 등장 이후, 통상 수십억 개 이상의 매개변수(parameter)를 부여하고 방대한 양의 텍스트를 사전학습(pre-trained) 시킨 뒤, 원래 목적에 적합한 데이터로 미세조정(fine-tuning) 하는 초거대 언어 모델(이하 LLM, Large Language Model)이 각광받기 시작했습니다.
LLM은 GPT-4와 같이 모두가 접근하고 사용할 수 있는 Public LLM과, 특정 조직이나 회사만 사용할 수 있는 Private LLM으로 나눌 수 있는데요. 최근에는 데이터 보안이 중요해지고 각 기업별로 특화된 AI 모델에 대한 수요가 많아짐에 따라 Private LLM의 활용이 빠르게 증가하고 있습니다.
Private LLM은 아래 예시들과 같이 다양한 분야에서 활용되고 있습니다.
일반 기업: 내부 보고서나 프로젝트 문서의 관리/작성 자동화, 고객 문의 자동 응답 및 맞춤형 메시지 발송
의료기관: 환자의 의료 기록을 분석하여 특정 증상에 대한 원인에 대한 빠른 분석
법률 자문 서비스: 특정 법률 분야의 사례, 판례 등 각종 문서를 분석하여 고객 상황에 적합한 방안 제시
기업 교육: 기업 내부 자료를 통해서 교육 자료와 평가 문제를 자동으로 구성하고, 학습 진도에 따른 맞춤 피드백 제공
기존 머신러닝 모델에 비해 압도적인 성능을 보여주는 LLM. 하지만 거대한 크기와 특유의 복잡성 때문에 특별한 관리 프로세스가 필요합니다. 이에 따라서 등장한 개념이, MLOps 프로세스에 LLM을 적용한 LLMOps(Large Language Model Operations)입니다.
LLM을 효율적으로 배포, 모니터링 및 관리할 수 있는 프로세스인 LLMOps의 주요 특장점을 살펴보면,
맞춤형 확장성 및 자원 최적화: LLM은 일반적인 머신러닝보다 훨씬 더 많은 연산 능력과 메모리를 요구하기 때문에, LLMOps는 클라우드 리소스, 하드웨어(GPU, TPU) 사용을 효율적으로 사용하면서도 빠른 속도를 유지할 수 있게 해줍니다.
전문화된 모델 관리: LLM 모델 버전 관리, 실험 추적, 성능 모니터링 등을 포함하여 LLM 전체 수명 주기를 관리합니다. 이를 통해서 LLM의 반복적인 학습과 튜닝을 용이하게 하며, 다양한 환경에서의 모델 통합을 간소화 시켜줍니다.
다양한 응용 프로그램 통합: LLMOps는 다양한 애플리케이션과 서비스에 LLM을 쉽게 적용하고 통합할 수 있도록 지원합니다. 여기에는 API 관리, 보안 프로토콜, 사용자 인증과 같은 기능들을 포함합니다. 또한 LLMOps를 통해 클라우드 환경이나 온-프레미스 시스템과도 연동할 수 있습니다.
한마디로 LLMOps는 LLM의 효과적인 운영, 확장성, 성능 최적화, 그리고 다양한 애플리케이션과의 통합을 위해 맞춤형 리소스 관리와 전문적인 모델 관리를 제공하는 프로세스입니다.
그렇다면 LLMOps를 성공적으로 활용하기 위한 포인트는 무엇일까요?
LLMOps를 성공적으로 활용하려면?
앞서 살펴본 것처럼, 정보 노출의 위험이 없고 기업에 특화된 데이터로 파인튜닝되어 할루시네이션 없는 정확한 정보를 제공하게 하는 Private LLM을 도입하는 기업이 빠르게 늘어나고 있습니다.
그렇다면 Private LLM 구축을 위한 LLMOps의 필수 요소들은 무엇인지 조금 더 자세히 알아보겠습니다.
Explorer : 파인튜닝된 LLM 모델을 탐색하고 검증할 수 있는 기능이 필요합니다.
Deployment : 파인튜닝된 LLM 모델과 임베딩 모델을 배포하고 관련 전문가가 아니더라도 손쉽게 배포하고 자동화할 수 있도록 지원합니다.
RAG : 질의응답 서비스를 구축할 때 필요한 RAG(Retrieval-Augmented Generation) 기술 활용 시 필요한 벡터 데이터 셋, 벡터 임베딩, 임베딩 쿼리를 관리합니다.
프롬프트 관리 : 프롬프트 데이터셋의 변경사항과 업데이트를 추적하고 버전을 관리할 수 있어 언제든지 이전 버전으로 롤백 하거나 특정 버전의 데이터셋을 재사용할 수 있습니다.
Model Management : 새로운 데이터, 사용자 피드백, 성능 분석을 바탕으로 지속적인 모델 개선이 필요합니다. 모델은 Git 기반의 형상 관리를 통해 버전을 체계적으로 관리하고 필요시, 모델의 자동 테스트, 빌드, 배포가 가능하게 합니다.
배포 모니터링 : 배포된 모델의 다양한 Metric을 모니터링하고 모델 버전 별의 성능을 비교할 수 있어야 합니다.
최근에는 위 여섯 가지 요소 중 할루시네이션 없는 정확한 답변을 제공하게 하고 문제 해결 능력을 향상시켜주는 RAG의 중요성이 커지고 있습니다. 또한 기업 입장에서 조금이라도 더 쉽게 Private LLM을 도입할 수 있는 다양한 기능을 포함하는지도 중요한 요소로 꼽힙니다.
따라서 LLMOps 솔루션 도입 시에는 RAG 기술에 특화되어 있고 성능 평가 및 반복 튜닝을 위한 워크플로우를 제공하는지, 그리고 자체 솔루션을 통해 모델 추론 시간 단축과 자원 최적화를 지원하는지 등을 반드시 살펴보아야 합니다.
AI가 빠르게 발전하고 활용 범위도 넓어짐에 따라 MLOps와 LLMOps의 중요성도 커지고 있습니다. 앞으로도 AI 기술은 더욱 정교해지고 적용 범위도 더 확장될 것이기 때문에, LLMOps의 성공적인 활용 여부는 비즈니스 성공과 직결되는 요소가 될 예정입니다.
이러한 변화의 흐름 속에서 에이프리카 치타(Cheetah)와 같이 검증 된 LLMOps 솔루션의 성공적인 활용을 통해 한 단계 더 높은 비즈니스 경쟁력을 확보하시기를 바랍니다.