인공지능(AI) 오디오 연구·개발 전문 기업 일레븐랩스(ElevenLabs)가 영상과 오디오 콘텐츠의 번역·더빙을 한층 자연스럽게 구현하는 차세대 AI 더빙 모델 ‘더빙 v2(Dubbing v2)’를 발표했다고 16일 밝혔다. 일레븐랩스는 기존 AI 더빙 서비스에서 가장 큰 약점으로 지적됐던 감정 표현 전달력을 크게 개선했다고 강조했다. 더빙 v2는 원본 음성에 담긴 감정, 톤, 연기적 표현을 최대한 보존하면서, 목표 언어의 문맥에 가장 자연스러운 표현으로 번역하고 조정한다. 또한 번역된 음성을 원본 음성의 시작과 종료 타이밍에 정밀하게 맞추는 정렬 기능과, 원본 화자의 음색, 피치, 톤을 반영한 자동 보이스 클로닝(Voice Cloning) 기술을 지원한다. 특히 원본 콘텐츠의 화자나 캐릭터가 가진 감정 표현과 목소리의 개성을 최대한 유지하면서 영어를 포함한 90개 이상의 언어로 변환할 수 있다는 점이 가장 큰 특징이다. 이를 통해 원본의 실제 ‘퍼포먼스’를 다국어 음성에 생생하게 담아낸다는 설명이다. 이번 모델은 국내 콘텐츠의 글로벌 진출 시 막대한 비용과 시간이 소모됐던 번역, 대본 작성, 성우 녹음, 오디오 편집, 타이밍 조정 등의 과정을 크게 단축시킬 것으로 기대된다. 엔터테인먼트 콘텐츠뿐만 아니라 교육·관광, 공공 정보, 기업 교육, 브랜드 메시지, 제품 소개 영상 등 다양한 분야에서 활용이 가능하다. 더빙 v2는 일레븐랩스 UI(플랫폼)를 통해 바로 사용할 수 있으며, 대규모 활용을 원하는 기업 고객을 위한 API도 곧 제공될 예정이다. 일레븐랩스는 ‘더빙 v2’를 통해 AI 더빙 기술의 한계를 넘어 글로벌 콘텐츠 제작과 다국어 서비스의 새로운 표준을 제시한다는 계획이다. Welaunch 강한나 기자 스타트업 뉴스 플랫폼, 위런치 © 2024 Welaunch. All Rights Reserved 보도자료/기고 : editor@welaunch.kr 광고/제휴 문의: we@welaunch.kr