일레븐랩스, 감정·퍼포먼스 재현하는 ‘더빙 v2’ API 공개

인공지능(AI) 오디오 연구·개발 전문 스타트업 일레븐랩스(ElevenLabs)가 8월 6일, 원본의 감정 표현과 퍼포먼스를 그대로 재현하는 새로운 더빙 AI 모델 ‘더빙 v2(Dubbing v2)’를 일레븐API(ElevenAPI)로 제공한다고 발표했다.

더빙 v2는 지난 5월 28일 UI 버전으로 먼저 공개된 바 있으며, 이번 API 공개로 개발자와 기업이 자사 제품 및 워크플로우에 직접 연동·통합할 수 있게 됐다.

더빙 v2는 음성을 음성으로 직접 변환하는(audio-to-audio) 아키텍처를 채택한 모델이다. 기존 ‘음성 인식 → 번역 → 음성 합성(클론 보이스)’ 파이프라인 방식과 달리, 입력된 음성을 기반으로 음성 출력을 직접 생성하기 때문에 원본의 감정 표현과 퍼포먼스의 섬세한 뉘앙스를 더욱 충실하게 반영할 수 있다.

주요 특징은 다음과 같다.
- 감정·퍼포먼스 재현력 향상: 원본 음성의 감정과 뉘앙스를 자연스럽게 전달
- 자연스러운 다국어 번역: 화자 본인의 목소리를 클론해 다국어 번역 제공
- 높은 싱크 정확도: 발화 타이밍이 영상과 자연스럽게 맞도록 설계 (단, 영상에 대한 AI 립싱크 가공은 하지 않음)
- 지원 언어: 한국어와 일본어를 포함한 전 세계 92개 언어

일레븐랩스는 콘텐츠 크리에이터, 미디어 기업, 엔터프라이즈 등 글로벌 시청자를 대상으로 고품질 콘텐츠를 제공하려는 기업 고객을 주요 대상으로 한다. 활용 분야로는 ▲영상 크리에이터 및 게임 스튜디오의 캐릭터 대사·컷신 로컬라이제이션 ▲소비재 브랜드와 여행·숙박업계의 다국어 마케팅 영상 제작 ▲스트리밍·미디어 기업의 영화·드라마 등 장편 콘텐츠의 다지역 전개 등이 예상된다.

기존 영화·TV급 품질의 더빙 작업은 분당 수백 달러 규모의 높은 비용이 소요됐으나, 더빙 v2는 이러한 고품질 더빙을 합리적인 비용으로 더 넓은 기업 고객층이 이용할 수 있도록 지원하는 것을 목표로 한다. 단, 라이브 스트리밍 영상의 실시간 다국어 더빙 기능은 이번 출시 범위에 포함되지 않는다.

더빙 v2가 지원하는 92개 언어에는 한국어와 일본어가 포함돼 있어, K-콘텐츠의 글로벌 진출 시 완성도 높은 다국어 더빙은 물론 해외 콘텐츠의 한국어 더빙 등 양방향 활용이 기대된다. 

Welaunch 이나은 기자

스타트업∙딥테크 뉴스 전문 미디어-위런치

Copyright ⓒ Welaunch. All rights reserved.

보도자료/기고  : editor@welaunch.kr

광고/제휴 문의 : we@welaunch.kr