AI 对口型工作流:给已有视频换语音并同步嘴型
用 AI Agent 给已有视频换一条新语音并同步嘴型:一句话调度配音与对口型,视频本地化、多语言翻译视频高效成片。

本文中的工具名仅供参考,实际工具可能已更新或更名。实施时请以工具市场中的最新工具为准。
本文要点
- 换语音 + 对口型一条链,不用剪辑师逐帧对嘴
- 自然语言调度配音与同步,多语言视频批量本地化
- 先校验自然度再成片,避免"音画不同步"的廉价感
本文用到的工具
为什么"换了语音,嘴型就对不上"
做多语言视频、翻译视频的团队都遇到过同一个坎:原片拍得好好的,想换成另一种语言的配音发到海外,结果声音换了、嘴却还在说原来的话。观众一眼就看出音画不同步,内容再好也显得廉价。
传统做法要么请配音演员对着画面一句句卡时间轴,要么让剪辑师逐帧微调口型——费时费钱,还难以规模化。真正的难点不是"配不出新语音",而是"新语音和原画面的嘴型对不上"。
接上语音合成与口型同步工具的 AI Agent 把这件事收成一条链:你给原视频和新文案,它先生成新语音,再把原视频里的嘴型同步到这条新语音上,输出一条音画对齐的本地化视频。
这个工作流分五步
- 交料:把原视频和新文案交给 Agent。
- 生成新语音:用语音合成工具按新文案配音。
- 同步嘴型:用口型同步工具把原视频嘴型对到新语音。
- 校验自然度:检查音画是否对齐、口型是否自然。
- 产出本地化视频:导出成片,必要时批量处理其余语种。
每一步怎么做
第一步:把原视频和新文案交给 Agent
准备好原视频文件(或可访问的链接)和要替换的新文案。用自然语言说清诉求:换成哪段语音、目标语言是什么。
用 ae 把 example.com/clip 这条视频配上新配音做本地化
第二步:生成新语音
Agent 调用语音合成类工具按新文案生成一条新配音。日常文本转语音可用 ae_f5_tts,把新文案转成自然的语音轨。
用 ae 根据这段文案用 ae_f5_tts 生成新配音
这一步决定了配音的音色与节奏。文案尽量按目标语言的口语习惯改写,而不是逐字硬翻,后续对口型才更贴。
第三步:同步嘴型
拿到新语音后,用口型同步类工具把原视频里的嘴型对齐到这条新语音上,可用 ae_latentsync。它以原画面为底,只重建与发音相关的口型区域,其余画面尽量保持原样。
用 ae 用 ae_latentsync 把原视频的嘴型同步到新配音上
第四步:校验自然度
成片前先过一遍:音画是否对齐、嘴型在起止和停顿处是否自然、有没有明显的糊边或抖动。这一步是"能用"和"像真人说这种语言"之间的分水岭。不满意就回到第二步微调文案节奏,再同步一次。
第五步:产出并批量
单条跑通后,把同一套流程套到其余语种:同一原视频 + 不同语言文案,依次生成语音、对口型、校验。相比逐条手工对嘴,这条链让多语言本地化可以规模化。
配音不对口型 vs AI 对口型:
| 只换配音、不对口型 | AI 对口型工作流 |
|---|---|
| 声音变了、嘴型还是原文,观感廉价 | 嘴型跟着新语音走,音画对齐 |
| 对口型靠剪辑师逐帧手工 | 自然语言一句话调度同步 |
| 每个语种从头返工 | 同一套链批量套多语种 |
各步骤对应工具:
| 步骤 | 用什么类型的工具 | 工具(示例) |
|---|---|---|
| 生成新语音 | 文本转语音 / 配音 | ae_f5_tts |
| 同步嘴型 | 口型同步 | ae_latentsync |
怎么开始
- 注册——新用户赠送 1,000 积分。
- 在 WorkBuddy、Trae 这类 Agent 里搜 "AgentEarth" 端内连接;或把一行 MCP 配置粘进 Claude Code / Cursor / VSCode。
- 把原视频和新文案交给 Agent,用自然语言让它配音并对口型。
常见问题
支持多语言吗? 支持。先用目标语言的口语习惯改写文案,再生成语音、对口型,同一条链可以依次处理多个语种。
嘴型自然吗? 口型同步工具以原画面为底、只重建发音相关的口型区域,成片前建议在起止和停顿处校验自然度,不满意就微调文案节奏再同步一次。
有时长限制吗? 实际表现取决于原视频和配音的长度与节奏,建议先用一小段跑通流程、确认自然度,再扩展到完整视频。
