메타는 101개 언어에서 음성을 번역할 수 있는 혁신적인 AI 모델을 16일 발표했다. 이 모델은 실시간 동시 번역의 한 걸음 더 나아간 기술로, 말이 나오는 즉시 번역이 이루어지는 가능성을 보여준다. 이 모델은 ‘SeamlessM4T’로 명명되었으며, 말 그대로 음성을 다른 언어로 직접 번역하는 기능을 제공한다. 이 기술은 네이처에 발표된 논문에서 자세히 설명되었다. 전통적인 음성 번역 모델은 다단계 과정을 따른다. 먼저 음성을 텍스트로 변환하고, 그 후 텍스트를 다른 언어로 번역한 뒤, 최종적으로 번역된 텍스트를 다시 음성으로 변환하는 방식이다. 이 방법은 비효율적이며, 각 단계에서 오류나 오역이 발생할 수 있다. 그러나 메타의 새로운 모델인 SeamlessM4T는 음성에서 음성으로 바로 번역하는 방식으로 더 직접적이고 효율적인 번역을 가능하게 한다. SeamlessM4T는 기존 모델들보다 23% 더 높은 번역 정확도를 보여주며, 구글의 AudioPaLM 모델이 113개 언어를 지원하는 것과 달리, SeamlessM4T는 36개 언어 이상으로 번역할 수 있는 장점을 지닌다. 이 모델의 핵심 기술은 '병렬 데이터 마이닝'이다. 이 기술은 웹에서 크롤링한 데이터에서 다른 언어의 자막과 일치하는 오디오를 찾아내는 방식으로, 각 언어의 음성과 텍스트를 연결하는 학습을 통해 번역 데이터를 확보한다. 퀸니피악 대학교의 컴퓨터 과학 교수인 체탄 자이스왈은 메타의 성과를 칭찬하며 "그들이 지원하는 언어의 수와 범위는 매우 인상적"이라고 말했다. 그는 SeamlessM4T가 텍스트-음성, 음성-텍스트, 자동 음성 인식 등 다양한 기능을 지원한다는 점에서 큰 의미가 있다고 덧붙였다. 그러나 연구팀은 여전히 인간 번역자가 중요한 역할을 한다고 강조했다. 인간 번역자는 문화적 맥락을 고려하여 번역의 정확성을 높일 수 있기 때문이다. 퀘벡 라발 대학교의 번역학, 기술 및 사회 연구 책임자인 린 보우커는 "언어는 문화의 반영이며, 각 문화는 고유한 방식으로 사물을 이해한다"고 설명했다. 또한, 의료나 법률 분야와 같은 중요한 분야에서는 기계 번역이 반드시 인간의 검토를 거쳐야 한다고 경고했다. 예를 들어, 2021년 1월 버지니아 보건부가 구글 번역을 사용하여 코로나19 백신에 대한 공공 건강 정보를 번역했을 때, "not mandatory(필수가 아님)"라는 영어 문장이 "not necessary(필요 없음)"로 번역되어 메시지의 의미가 완전히 달라진 사례가 있었다. AI 모델은 일부 언어에서 더 많은 예시를 학습할 수 있는 반면, 다른 언어는 상대적으로 예시가 부족한 문제가 있다. 예를 들어, 그리스어에서 영어로 번역하는 데는 많은 예시가 있지만, 스와힐리어에서 그리스어로 번역하는 데는 예시가 적을 수 있다. 이를 해결하기 위해 SeamlessM4T 모델은 수백만 시간의 음성 데이터를 사전 학습하여 다양한 언어의 음성을 인식할 수 있도록 했다. 이 사전 학습 덕분에 덜 알려진 언어에 대해서도 일정 부분 이해할 수 있는 기초를 마련했다. SeamlessM4T는 오픈 소스로 공개되어 다른 개발자들이 이를 확장할 수 있는 기회를 제공한다. 그러나 일부 전문가들은 그 실용성에 대해 의구심을 나타내기도 했다. 자이스왈 교수는 "구글의 번역 모델은 Seamless보다 오픈 소스가 아니지만, 훨씬 더 빠르고 반응이 좋으며, 학술적인 용도로는 비용이 들지 않는다"고 언급했다. SeamlessM4T의 가장 큰 장점은 실시간 언어 간 해석의 가능성을 열어준다는 점이다. 현재 이 모델은 기존 모델들보다 빠르지만, 여전히 즉각적인 번역은 아니다. 그러나 메타는 이미 인간 번역자 수준으로 빠른 속도의 최신 버전을 개발 중이라고 밝혔다. 언어학 전문가들은 "지연된 번역도 유용하지만, 동시 번역이 훨씬 더 유용할 것"이라며 향후 발전 가능성에 대해 기대감을 표했다. SeamlessM4T는 언어 장벽을 허물고 다문화 간 소통을 빠르고 효율적으로 만드는 데 중요한 역할을 할 수 있을 것이다. 그러나 실시간 해석의 완전한 실현까지는 여전히 시간이 필요할 것으로 보인다. Welaunch 김아현 기자 스타트업 뉴스 플랫폼, 위런치 © 2024 Welaunch. All Rights Reserved 보도자료/기고 : editor@welaunch.kr 광고/제휴 문의: we@welaunch.kr