实时同声传译是如何实现的？从三段式翻译到端到端语音大模型

作者：Parley Voice 团队 · 最近更新 2026 年 10 月 26 日 · 我们是 Parley 的开发者，本文不是独立评测。

一、第一条路线：ASR → MT → TTS，传统三段式翻译

三段式的核心思想是把一个复杂任务拆成三个相对独立的问题：听清楚、翻译好、说出来。

流程（示意）：源语言语音 → ASR：语音识别 → MT：文本机器翻译 → TTS：语音合成 → 目标语言语音

第一步：ASR，把人说的话变成文字

ASR（Automatic Speech Recognition，自动语音识别）接收麦克风中的声音，识别词语、句子及停顿，输出源语言文本。

例如，你说“我们下周讨论交付时间”，ASR 将声音识别为这行中文文字。现代 ASR 系统本身也可能采用 Transformer、Conformer 等深度学习架构，并不意味着它是落后的技术。

第二步：MT，把源语言文本翻译成目标语言

MT（Machine Translation，机器翻译）接收识别出的中文，生成英文：

We will discuss the delivery timeline next week.

今天的机器翻译通常也由神经网络或语言模型完成，能够利用上下文处理语法、词义和专业表达。

第三步：TTS，把翻译后的文字变成语音

TTS（Text-to-Speech，文本转语音）将英文译文转换为可播放的英语语音。现代 TTS 包含声学建模、音色控制和神经声码器（Neural Vocoder）等技术，有些方案还可额外接入声音克隆。

三段式并不是低质量方案。 它成熟、模块化，而且可以分别优化识别、翻译和语音合成：更换语音识别引擎，不一定需要修改翻译引擎；替换音色，也不必重新训练翻译模型。

但它用于“实时同声传译”时，会遇到三个典型问题。

1. 延迟容易累积。 ASR 需要听到一定的内容才能稳定识别；MT 需要足够的句子上下文；TTS 又需要生成音频。三个阶段如果按顺序执行，等待时间就会叠加。虽然流式 ASR、增量翻译和流式 TTS 可以重叠运行，但跨模块协调仍然复杂。

2. 错误可能逐级传递。 假如 ASR 把人名或技术术语识别错了，后续翻译往往只能处理这个错误文本；再自然的 TTS 也无法修复前面丢失的含义。

3. 语音中的信息可能丢失。 人说话时的强调、犹豫、停顿、情绪和音色，并不都会完整保留在转写文本中。如果后续 TTS 只拿到一句普通译文，听众可能听懂了字面含义，却听不出原来的语气。

这种架构尤其适合需要可审核文本、专业术语控制、特定语言组合，或希望独立替换各个模块的系统。但对连续、自然的双向语音交流而言，它并非唯一选择。

二、第二条路线：端到端语音大模型，直接从语音理解到语音表达

端到端语音翻译通常称为 Speech-to-Speech Translation（S2ST）。与需要外部串联 ASR、MT、TTS 的三段式系统不同，端到端模型在统一或联合优化的模型体系内完成跨语言理解与语音生成，不必先把一句话完整转写、翻译成最终文本，再交给独立的 TTS 系统。

流程（示意）：连续输入语音 → 音频特征编码 → 跨语言语义建模 → 流式语音生成 → 连续译音输出

这张图是一种便于理解的通用抽象，并不代表所有商用模型都使用完全相同的内部架构。

1. 模型先“听懂”声音，而不只是读一份转写稿

原始声音通常先被分帧，转换为梅尔频谱（Mel Spectrogram）等声学特征，或进一步编码成连续向量、离散音频 Token。

音频编码器会从这些特征中学习与语言相关的信息：音素、词语、说话节奏、上下文线索，以及部分说话人特征。经过训练的模型可以把音频信息映射到能够支持跨语言理解的内部表示。

这就允许模型不仅利用“说了哪些字”，还利用声音中携带的其他信息。它并不意味着任何端到端模型都能完整保留语气和情绪；保留程度取决于模型架构、训练数据和生成能力。

2. Transformer 和注意力机制，帮助模型在上下文中理解含义

Transformer 是现代大语言模型与许多多模态模型的重要基础。它的关键能力之一，是借助注意力机制（Attention）建模上下文之间的关系。

例如，一位讲话者说：

“这个方案现在看起来可行，但是如果明年的成本……”

机器如果过早翻译，可能会误解随后出现的转折。实时同传模型需要结合已经听到的内容、历史上下文，以及尚需等待的关键信息，决定译文什么时候输出。

一些端到端模型采用 Transformer 编码器和解码器；另一些采用多模态大模型骨干，把语音理解、跨语言语义与语音生成联合训练。具体实现并不完全相同。

Google 在 2025 年公开的实时 S2ST 系统中，就使用基于 Transformer 的流式编码器和解码器来连续生成译音。Meta 的 SeamlessStreaming 流式同传 则引入高效单调多头注意力（EMMA），使系统不必等待整句话结束，就能逐步输出翻译。

3. 从语义表示直接生成目标语言语音

模型理解源语言后，可以逐步预测目标语言的语音表示，例如声学特征或离散语音 Token，再由语音解码器或神经声码器还原为人耳能听到的波形。

这与传统“先产出最终译文，再把译文交给独立 TTS 服务”不同：在统一模型中，翻译与语音生成可以更紧密地协同。

一个有代表性的研究方向是 Qwen3-Omni 的 Thinker–Talker 架构：负责理解和生成语义表示的部分，与负责流式语音输出的部分协同工作。它说明了现代多模态语音大模型如何将理解和“说话”连接起来，但不能据此认定所有 Qwen LiveTranslate 商用版本都公开采用完全相同的内部结构。

如果模型还能够提取当前说话人的声学特征，就可能在翻译时生成接近原说话人音色的目标语言语音。这也是实时声音复刻（Live Voice Cloning）的技术基础之一。

4. 真正决定同传体验的是：边听边说

大模型再聪明，如果必须等你说完一整段话才开始翻译，也称不上理想的“同声传译”。

因此，实时 S2ST 的核心还有流式处理（Streaming）与增量生成（Incremental Generation）：

• 模型持续接收短音频片段，而不是等待完整录音；
• 利用已有上下文预测何时有足够信息开始翻译；
• 一边继续接收讲话，一边输出已确定的目标语言语音；
• 在准确性、等待时间和译音播放速度之间动态平衡。

不同语言的语序不同，模型有时必须多等一小段内容，才能避免翻译错误。这种“什么时候听、什么时候说”的策略，和模型的翻译能力一样重要。

字节跳动 Seed 在 Seed LiveInterpret 2.0 的公开研究中介绍了全双工语音理解与生成框架，并结合监督微调、强化学习来兼顾译文质量与时延；千问 Qwen3.8-LiveTranslate 介绍 则公开介绍了 Interleave 架构、长上下文消歧和说话人归属能力。

这里的“全双工”指模型可以在继续接收源语音时输出译音；而产品中的“双向会议翻译”指会议双方各自的音频都能被翻译。两者相关，但不是同一个概念。

一个需要澄清的技术细节

“端到端”不等于内部完全没有文本、没有多个网络组件，更不等于只需要一个神经网络计算步骤。

端到端模型仍可能在训练中使用转写和翻译文本，也可能同步输出字幕，或在模型内部使用文本 Token、音频 Token、解码器和声码器。关键区别在于：它不需要把外部独立 ASR、MT、TTS 依次串联，才能完成语音到语音的主任务。

这也是为什么一套端到端语音翻译服务，可以同时返回译音和字幕，而不必退回传统三段式架构。

三、三段式与端到端：优缺点到底在哪里？

不存在对所有场景都绝对更好的路线。 早期端到端 S2ST 研究也曾落后于强大的级联基线；此后模型与训练方法不断进步，才逐步改善翻译质量、语音自然度与实时性。

如果目标是离线字幕制作、强审校或严格的文本规则处理，三段式仍然非常有价值。如果目标是让不同语言的人像正常开会一样持续交流，端到端语音大模型通常更符合产品希望优化的方向。

四、为什么 ParleyVoice 选择端到端路线？

我们做 ParleyVoice 官网，首先想解决的不是“把一段录音准确翻译成文字”，而是一个更真实的问题：

两个人语言不同，能不能继续自然地说话，而不用频繁停下来等翻译？

因此，我们选择接入原生面向实时语音到语音翻译的模型能力，而不是把三个独立服务作为核心翻译链路。主要原因有三个。

1. 让译音尽可能跟上对话节奏

在商务会议、跨国协作、在线面试和客户沟通中，过长的停顿会打断交流。端到端模型将语音理解、翻译决策和语音生成紧密结合，为缩短感知等待、实现边听边说提供了更合适的技术基础。

但这不是“零延迟”。一次实际会议中，用户听到译音的总延迟，还包括模型需要等待的上下文、设备采集、网络传输、播放缓冲和音频路由等时间。

2. 不只翻译文字，也努力保留“谁在说话”

人声本身就是交流的一部分。我们希望译音不仅准确，还能尽可能自然，并在模型支持的情况下，让对方听到接近你原本音色的翻译语音。

ParleyVoice 当前提供的千问和豆包托管模型方案支持实时声音复刻，无需预先录制专门的声音样本。实际效果仍取决于输入音质、说话人、语言方向与模型能力，不能理解为百分之百还原原声。

3. 为真实的双向会议而设计，而不只是做一个模型演示

翻译模型是核心，但从“模型能翻译”到“人在会议中用得顺手”，还差一整套产品工程。

在 ParleyVoice 中：

• 当你说话时，软件捕获你的麦克风音频，生成目标语言译音，并通过虚拟麦克风送入 Zoom、Google Meet 或 Microsoft Teams 等会议应用；
• 当对方说话时，软件处理会议音频，将译音播放到你的耳机；
• 你还可以在桌面界面查看双语字幕，并根据需要导出字幕记录；
• 通常只需要运行 ParleyVoice 的一方安装软件，其他参会者仍使用原有会议应用。

这套体验面向 Windows 和 macOS 的桌面场景，也适用于产品支持的面对面或会场翻译模式。更多信息见 ParleyVoice 双向会议翻译介绍。

目前采用哪些实时翻译模型？

ParleyVoice 当前提供不同侧重点的模型方案：

• Qwen LiveTranslate（千问）：侧重多语言实时同传。当前 Qwen3.8-LiveTranslate 公开支持 60 种源语言输入、29 种语言的语音输出；请注意，“能听懂的语言”不等于“能够语音说出的语言”。
• Seed LiveInterpret（豆包）：侧重中文与英文之间的双向实时同传，强调边听边说以及实时声音复刻。

公开资料中，千问给出的平均滞后指标 LAAL 约为 2.3 秒；Seed LiveInterpret 2.0 报告的语音输出延迟约为 2.53 秒。这两个数字采用不同的测量口径，不能直接横向比较，也不是 ParleyVoice 整套软件在任何会议环境中的时延保证。 网络、设备和音频链路都会影响最终体验。

你可以在 支持的语言与音色 页面确认当前可用的语言组合。

五、实时同声传译的未来：从“翻译准确”走向“交流自然”

AI 同声传译正在经历一场变化。

过去，我们主要关心机器是否能够“听清一句话、翻译一句话”。现在，我们开始进一步关心：它能否理解长对话的上下文？能否分清不同说话人？能否根据句子的难度决定等待多久？能否用熟悉的声音和恰当的语气自然地说出来？

端到端语音大模型让这些能力有机会被放在同一个目标下持续优化。不过，专业术语、多人重叠讲话、强噪声、语序差异以及重要数字与专有名词，仍然值得用户谨慎核对。

ParleyVoice 选择端到端，不是因为三段式已经失去价值，而是因为我们的目标是自然、低等待、双向的跨语言语音交流。 我们希望让翻译逐渐退到幕后，让人与人之间的对话重新成为主角。

想在下一场跨语言会议中试一试？欢迎访问 ParleyVoice 官网，了解 实时双向会议翻译，或查看 下载与首次使用指南。

延伸阅读与技术资料

1. Google Research：实时语音到语音翻译（2025） — 基于 Transformer 的流式编码、解码与实时译音。
2. Meta AI：Seamless 流式语音翻译论文 — EMMA 注意力、实时输出与语音表现力。
3. Qwen3-Omni 技术报告 — Thinker–Talker、多模态表示与流式语音生成。
4. ByteDance Seed：Seed LiveInterpret 2.0 官方技术介绍 — 全双工、端到端同传、声音复刻和评测指标。
5. 千问团队：Qwen3.8-LiveTranslate 介绍 — Interleave 架构、长上下文与说话人能力。
6. Google Research：Translatotron 2 介绍 — 端到端 S2ST 与级联架构的技术比较。