인공지능(AI) 옵저버빌리티(Observability, 관측성) 및 평가 플랫폼 선도 기업 에라이즈 AI(Arize AI)는 LG유플러스(LG Uplus, 대표 황현식)가 국내 최대 규모의 AI 기반 고객 서비스 운영 시스템인 AI 컨택센터(AICC: AI Contact Center)의 LLMOps(Large Language Model Operations, 거대언어모델 운영) 고도화를 위해 ‘Arize AX’ 플랫폼을 도입했다고 발표했다. Arize AX는 LG유플러스의 완전한 폐쇄망 환경에 셀프 호스팅(Self-hosted) 방식으로 구축됐다. 이는 엄격한 엔터프라이즈 보안 요건을 충족하면서, 전국 17개 고객센터와 4,000명 이상의 상담사에게 프로덕션 규모의 AI 옵저버빌리티를 실시간으로 제공하는 국내 첫 대규모 사례다. 이번 사업의 핵심은 보안과 효율의 양립이다. LG유플러스는 Private LLM(폐쇄형 거대언어모델) 등을 연동한 하이브리드 클라우드 환경에서 다수의 모델을 운영하고 있으며, 모든 데이터 처리는 사내 보안 가이드라인을 철저히 준수한다. 특히 Arize AX는 외부 인터넷 접속이 전면 차단된 폐쇄망 내에서 구동되어, 민감한 상담 데이터가 외부 모델 학습에 활용될 리스크를 물리적으로 제거했다. LG유플러스는 현재 이 플랫폼을 통해 ▲LLM 트레이싱(Tracing, 추적) 및 모니터링 ▲프롬프트 최적화 및 실험 ▲자동화된 평가 파이프라인 등의 기능을 전방위적으로 활용하고 있다. 또한 SSO(Single Sign-On, 통합 인증) 연동과 프로젝트별 접근 권한 제어, 운영 환경의 완벽한 격리를 통해 내부 데이터 보안 체계를 한층 강화했다. 도입 성과도 가시적이다. LG유플러스는 Arize AX 도입 이후 AI 서비스 개발 리드타임(Lead Time, 소요 시간)과 장애 대응 시간을 획기적으로 단축했으며, 인프라 관리 부담 또한 크게 경감하는 효과를 거뒀다. 에라이즈 AI(Arize AI) 이승민 APAC(Asia-Pacific, 아시아 태평양) 기술총괄은 “LG유플러스의 AICC는 폐쇄망에서 다수의 LLM을 연동해 운영하는 고도화된 시스템”이라며, “Arize AX는 엔터프라이즈 환경의 복합적인 요구사항을 충족하며 엔드투엔드(End-to-End) 옵저버빌리티를 지원하고 있다”고 밝혔다. LG유플러스 정진수 AICC DevOps(데브옵스) Lead는 “Arize는 단순한 LLMOps를 넘어선 AI 플랫폼”이라며, “폐쇄망 환경에서도 보안과 운영 효율성을 모두 충족하며 데이터셋·프롬프트 관리부터 모델 평가까지 하나의 플랫폼에서 해결할 수 있다는 점이 핵심이었다”고 강조했다. 이번 구축 사례는 엔터프라이즈 AI 옵저버빌리티가 더 이상 선택이 아닌 필수임을 보여주는 대목이다. 업계 관계자들은 “가장 엄격한 보안 요건을 갖춘 통신 대기업이 기능의 타협 없이 최신 LLMOps를 성공적으로 안착시킨 것은 향후 금융 및 공공 분야 AI 확산에 중요한 이정표가 될 것”이라고 평가했다. Welaunch 서아림 기자 스타트업 뉴스 플랫폼, 위런치 © 2024 Welaunch. All Rights Reserved 보도자료/기고 : editor@welaunch.kr 광고/제휴 문의: we@welaunch.kr