"단순 낭독 넘어 연기까지"…일레븐랩스, 차세대 음성 AI '일레븐 v4' 공개

글로벌 AI 오디오 기업 일레븐랩스(ElevenLabs)가 역대 최고 수준의 속도와 표현력을 갖춘 신규 음성 모델 ‘일레븐 v4(Eleven v4)’와 저지연 특화 모델 ‘일레븐 v4 터보(Eleven v4 Turbo)’를 공식 출시했다.

마티 스타니셰프스키 일레븐랩스 CEO는 "AI의 추론 능력만큼 중요한 것이 사람과 소통하는 방식"이라며 "일레븐 v4는 기존 AI 음성의 단조로움을 극복하고 풍부한 표현력을 제공해 창작과 에이전트 경험을 한 단계 끌어올릴 것"이라고 밝혔다. 피오트르 다브코프스키 CTO 또한 "새 아키텍처를 기반으로 운율과 연기력을 극대화했으며, 저지연 환경에서도 뛰어난 성능을 발휘하도록 설계했다"고 설명했다.

텍스트 맥락 해석해 '연기' 펼치는 음성 AI

일레븐 v4는 문장을 단순히 읽는 것을 넘어 화자의 성격과 맥락을 파악해 연기하듯 발화한다. 긴박한 드라마 연출부터 다정하거나 익살스러운 톤까지 폭넓게 소화한다.

사용자는 자연어로 발화 스타일을 지시하거나, 문장 내에 ‘[웃음]’, ‘[영국식 억양으로 화난 듯 말함]’, ‘[빗소리]’ 등의 태그를 넣어 감정과 효과음을 세밀하게 제어할 수 있다. 이전 세대(v3) 대비 화자 식별 기능과 일관성이 크게 향상돼, 오디오북이나 다자간 대화에서도 목소리의 고유 특징을 안정적으로 유지하며 앞선 대화에 자연스럽게 반응한다.

100ms 초저지연 에이전트와 90개 이상 언어 지원

함께 공개된 '일레븐 v4 터보'는 응답 속도와 표현력을 모두 잡았다. 첫 음성 생성 지연 시간이 평균 100밀리초(ms)에 불과해, 사람 간 대화의 쉼표보다 빠르게 반응한다. 자사 대화형 플랫폼 '일레븐에이전트'와 최적화돼 따뜻한 의료 상담부터 위트 있는 게임용 에이전트까지 실시간 상호작용 분야에 폭넓게 적용할 수 있다.

지원 언어도 기존 70개에서 90개 이상으로 대폭 확장됐다. 일본어, 중국어(만다린), 브라질 포르투갈어 등 주요 언어의 품질이 눈에 띄게 개선됐으며, 문화권별 대화 관습과 뉘앙스를 자연스럽게 구현한다. 한국어 음성을 고유 음색과 피치를 유지한 채 원어민 발음의 영어로 바꾸는 크로스 링구얼 기능도 지원한다.

엔터프라이즈 보안 및 크리에이터 생태계 구축

일레븐랩스는 의료·금융 등 민감 분야 도입에 맞춰 GDPR, HIPAA, SOC 2, PCI 등 글로벌 보안 표준을 준수하며 다지역 데이터 레지던시를 지원한다. 또한 도용을 막는 '음성 캡차(Voice CAPTCHA)'와 공인 복제를 차단하는 '노고 보이스' 등 안전장치도 강화했다.

신규 모델 2종은 일레븐API와 에이전트 플랫폼 등에서 즉시 이용 가능하다. 한편, 일레븐랩스 ‘보이스 라이브러리’에 참여한 크리에이터들의 누적 수익은 2,200만 달러(약 300억 원)를 돌파했다. 

Welaunch 강한나 기자

스타트업∙딥테크 뉴스 전문 미디어-위런치

Copyright ⓒ Welaunch. All rights reserved.

보도자료/기고  : editor@welaunch.kr

광고/제휴 문의 : we@welaunch.kr