ElevenLabs가 차세대 AI 더빙 모델 Dubbing v2를 공식 발표했다. 90개가 넘는 언어로 콘텐츠를 더빙하면서, 원래 화자의 감정과 연기까지 그대로 옮기는 것을 내세운다.

기존 AI 더빙이 대본 텍스트에 크게 의존했다면, Dubbing v2는 원본 오디오에 담긴 연기를 직접 듣고 그대로 살린다. 그래서 말의 톤과 속도, 말하는 방식, 그리고 어떤 감정으로 말했는지가 번역된 음성에도 그대로 남는다.

ElevenLabs는 이를 두고 “번역된 말이 실제로 그 사람이 한 말처럼 들리게 하는 것”, 즉 AI 더빙의 가장 풀기 어려운 숙제를 해결한 것이라고 설명한다.

텍스트만으로는 감정 · 타이밍 · 강세 · 머뭇거림 등을 되살리기 어렵다는 게 기존 방식의 한계였다. Dubbing v2는 원본 음성에서 억양과 톤을 읽어내 다른 언어에 옮겨 담아, 결과물을 훨씬 자연스럽고 표현력 있게 만든다.

타이밍도 자동으로 맞춘다. 싱크 인지 번역 시스템이 언어별 어순 · 리듬에 맞춰 표현을 바꾸되, 말이 시작되고 멈추는 타이밍과 속도를 원본에 자동으로 맞춰 수작업 보정을 줄여준다.

제공 형태는 두 가지다. 크리에이터 · 마케터용 ElevenCreative에서 원클릭으로 사용할 수 있고, 스튜디오 · 방송용 ElevenProductions는 Dubbing v2에 번역가 · 보이스 캐스팅 · 전문 믹싱을 결합한다. 이 글에서는 작동 원리, 작업자 관점에서의 의미와 한계를 정리해보려고 한다.

↗️ ElevenLabs 공식 블로그 — Introducing Dubbing v2

Dubbing v2의 핵심 : 텍스트 의존의 한계점 해결

전통적인 AI 더빙은 텍스트에 크게 의존했다. 정확한 번역은 가능하지만, 사람 말투를 자연스럽게 만드는 미묘한 요소들이 텍스트 입력 단계에서 사라진다.

구체적으로 감정, 타이밍, 강세, 머뭇거림 등은 텍스트만으로 재구성하기 어렵다. 같은 문장이라도 어떻게 말하느냐에 따라 의미가 달라지는데, 텍스트는 그 “어떻게”를 담지 못한다.

Dubbing v2는 다르게 문제를 인식한다. 원본 음성 자체를 분석해, 화자의 억양과 톤을 잡아내고 그것을 다른 언어로 옮긴다.

결과적으로 더빙된 음성이 원래 말하던 방식에 충실하면서도 훨씬 자연스럽고 생생하게 들린다. 단순 번역을 넘어서 “연기까지 옮기는” 작업에 가깝다.

작업자에게 이 차이는 매우 중요하다. 입력이 텍스트가 아니라 오디오 신호 그 자체이므로, 원음의 상태가 결과 품질에 직접 영향을 준다는 뜻이기 때문이다.

연기를 직접 분석한다

ElevenLabs가 가장 강조하는 점은 “처음으로 원본 화자의 감정과 연기가 모든 언어로 전달된다”는 것이다.

기존처럼 대본만 보고 밋밋하고 원본과 동떨어진 음성을 만들어내는 대신, Dubbing v2는 원본 음성을 직접 분석해 말의 톤과 속도, 말하는 방식, 감정까지 그대로 살린다.

쉽게 말해서, 원본에서 화자가 어디서 힘을 주고 어디서 쉬며 어떤 감정으로 말했는지를 음성 신호에서 읽어 번역 언어에 입힌다. 텍스트로는 표현되지 않던 정보다.

이는 더빙의 오랜 난제였던 “번역된 말이 그 사람이 실제로 한 말처럼 들리는가”에 대한 확실한 해결책이다.

다만 이는 원본 음성의 표현이 풍부할수록 효과가 크다는 뜻이기도 하다. 노이즈가 많거나, 단조로운 원본 음성은 번역할 “연기” 자체가 빈약하기 때문에 입력 단계의 품질 관리가 그만큼 중요해진다.

언어마다 자연스럽게, 타이밍까지 자동으로

좋은 더빙은 단순 직역이 아니다. 언어마다 어순 · 리듬 · 문장 구조가 다르기 때문에 자연스럽게 들리려면 표현 자체를 바꿔야 한다.

Dubbing v2는 말로 했을 때 자연스럽도록 번역을 다듬으면서도, 원본과의 동기화를 유지한다. 단어 대 단어로 옮기지 않고 언어별로 표현을 조정한다.

핵심은 싱크 인지(Sync-Aware) 번역 시스템이다. 문장이 시작되고 멈추는 지점과 말의 속도를 원본에 자동으로 정렬해, 수작업 보정의 필요를 줄이고 결과물을 전문 더빙에 가깝게 만든다.

여기서 짚어둘 점이 있다. Dubbing v2가 맞추는 건 오디오의 타이밍 싱크다. ElevenLabs 공식 안내 상으로 영상 입모양을 맞추는 링크는 Dubbing에 포함되지 않으며, Image & Video · Flows · Studio에서 서드파티 모델로 별도 제공된다.

따라서 영상 콘텐츠를 다룬다면 “오디오 더빙”과 “영상 립싱크”는 다른 단계로 보고 파이프라인을 설계해야 오해가 없다.

어떻게 활용할 것인가

크리에이터에게 Dubbing v2는 ElevenCreative 안에서 원클릭으로 유튜브 영상 등을 현지화하게 해준다. 원작자의 개성과 말하는 방식을 유지한 채 여러 언어로 자연스럽게 들리도록 만드는 것이 목표다. 이와 함께 Creator Dubbing Partner Program으로 일부 크리에이터에게 할인 접근을 제공한다.

마케터에게는 캠페인을 대규모로 현지화하는 수단이다. 광고 · 제품 영상 · 브랜드 콘텐츠를 처음부터 다시 만들지 않고도, 언어가 바뀌어도 같은 감정과 전달력을 유지할 수 있다.

스튜디오 · 방송 · 엔터프라이즈용으로는 ElevenProductions가 있다. 여기서는 Dubbing v2가 음성 생성과 동기화를 맡고, 사람 번역가 · 전문 보이스 캐스팅 · 전문 오디오 믹싱이 결합된다. 자동화와 사람 손을 섞은 하이브리드 워크플로우다.

비용적으로도 크게 절감된다. 전문 더빙은 분당 수백 달러에 이르고 번역가 · 성우 · 편집자 · 오디오 엔지니어가 얽힌 큰 파이프라인을 요구하는데, Dubbing v2는 이 과정을 자동화해 진입 장벽을 낮춘다.

출시 시점 기준 ElevenCreative와 ElevenProductions에서 사용 가능하며, 공식 블로그에서 발표 후 7일 간 무료 사용량 프로모션(무료 플랜 1분, Starter 15분, Creator+ 30분)을 제공한다고 설명했다.

작업자 관점에서의 의미와 한계점

Dubbing v2는 음악 모델 Music v2 출시와 맞물려 발표되었다. ElevenLabs가 음성 · 음악 · 더빙을 아우르는 풀스택 오디오 플랫폼을 구축하고 있다는 신호로 보인다.

사운드 엔지니어에게는 로컬라이제이션과 보이스 후반작업의 비용 · 시간 구조가 바뀔 수 있다. 다국어 버전 제작에서 1차 작업을 자동화하고, 사람이 검수와 마무리에 집중하는 방식의 작업이 가능해진다.

다만 한계도 분명하다. 입력 방식이 오디오인 만큼 원음의 노이즈 · 룸톤 · 클리핑 등 오디오 파일의 품질이 결과를 좌우한다. 더빙 전에 디노이즈 · 게인 정리 등 원본을 후처리 작업하는 것이 품질을 크게 좌우할 것이다.

믹스 관점에서도 여전히 사람의 손이 필요하다. 최종 보이스 톤, 방송 라우드니스 규격, 배경음 및 사운드와의 밸런스는 여전히 사운드 엔지니어가 맞춰야 한다. ElevenProductions가 휴먼 믹싱을 결합하는 이유이기도 하다.

마지막으로, AI 보이스 · 더빙은 원본 화자의 동의와 권리 처리 같은 법적, 윤리적 확인이 필수다. 도입 시 기술 검증과 함께 반드시 이 부분을 점검해야 한다.

인사이트💡

Dubbing v2의 품질이 좋아졌다고는 하나, 여전히 언어별 길이 차이가 있는 것으로 보인다. 작업 시 대사와 배경음 및 사운드를 분리해놓는 M&E(음악&효과음) 시스템을 처음부터 구성해놓는다면, 더빙 트랙 교체가 훨씬 수월하게 이루어질 수 있다.