7月24日，智东西报道，字节跳动旗下的Seed团队今日公开发布了一款全新的端到端同声传译系统，名为Seed LiveInterpret 2.0。

该系统是首个在翻译精确度、语音响应时间以及声音还原度这三个关键指标上，均接近专业同声传译水平的产品级中英语音同传系统。

Seed LiveInterpret 2.0在中英互译领域取得了卓越成就，其翻译品质、反应速度以及音色还原效果均处于行业领先地位，在众多主观与客观的评估中均展现出优异的表现。

该系统运用了全双工语音识别与合成技术，实现了“听与说同步”的即时翻译功能，语音传输的延迟时间最短可达2至3秒。此外，它还具备了无需预先录制样本的0样本声音模仿功能，能够模仿说话者的音色，直接用其声音“表达”外语。

目前，Seed LiveInterpret 2.0已借助火山引擎对外提供试用服务，用户只需登录控制台，便能够亲身体验到语音模型“Doubao-同声传译2.0”的功能。

此外，Ola Friend耳机预定于8月底加入该系统，它将成为首个具备该系统语音同步翻译功能的硬件产品。

技术报告与体验指路：

技术报告：

该链接指向的是一篇论文，其标题为《2507.17527》，可在arXiv网站上查阅。

项目主页：

严禁对特定内容进行篡改，确保信息的准确性与真实性，同时维护平台内容的纯洁性。

登录火山引擎平台，挑选语音模型“Doubao-同声传译2.0”进行体验。

请访问https://console.volcengine.com/ark/region:ark+cn-beijing/experience/voice，这里提供了语音交互的体验服务，类型为SI。

一、全双工语音生成框架，实现真正“边听边说”

字节Seed团队在2024年推出了他们的首个模型CLASI，该模型成功克服了文本同传中的延迟和专业化难题，不过目前尚不能实现语音输出的功能。

经过一年的努力，该团队在模型架构、语音合成及训练方法等方面不断改进，成功发布了Seed LiveInterpret 2.0版本，该版本首次实现了边听边说的语音实时翻译功能。

Seed LiveInterpret 2.0采用了双通路语音理解与生成架构，该端到端解决方案简化了中间步骤，从而在处理速度和翻译精确度方面展现出更佳性能。系统具备同时接收源语言语音并生成目标语言语音的能力，并且能够对多人的对话场景进行实时处理。

字节跳动Seed的Seed LiveInterpret 2.0采用了双通路语音理解与生成架构，该架构的图示来源于字节跳动Seed。

特别值得关注的是，Seed LiveInterpret 2.0与传统的同声传译系统不同，它能够在听音的同时即时生成目标语言的语音，平均只需大约2.5秒就能输出第一个翻译句子，这一速度已非常接近人类的同声传译水平。

该图展示了在语音到语音的同传任务中，Seed LiveInterpret 2.0与市面上主流系统在翻译效果及响应时间方面的对比情况。（资料来源：技术分析报告）

实际测试表明，该语音翻译的延迟时间可降至2至3秒，与传统机器翻译系统相比，平均等待时间缩短了60%以上，从而实现了边听边说的功能。

二、强化学习上场，翻译更智能、延迟再压缩

尽管Seed LiveInterpret 1.0的早期版本在文本翻译方面已经展现出不错的实力，然而，如何平衡音频输出的节奏与精确度，这始终是人工智能同声传译技术面临的核心挑战。

为此，字节Seed团队采纳了强化学习技术，对翻译过程中的延迟、准确性以及节奏把控等方面进行了综合的建模与优化。

技术报告指出，该团队研发了一套结合单步反馈与全面反馈的双重激励机制，这一机制旨在确保各个片段之间的语义统一性，并维护整个翻译文本的连贯逻辑。

在训练过程中，该团队实施了分两步走的策略：首先，他们让模型通过接受单次奖励来熟悉人类译者的翻译技巧；接着，他们运用全面的奖励系统来提升模型在把握整体语义和调节响应时间方面的能力。

该机制显著缩短了模型输出结果的延迟。举例来说，在处理长文本的英译中任务时，经过强化学习优化的Seed LiveInterpret 2.0，其语音输出的延迟从3.90秒减少到了2.37秒，翻译的评分也从75.1分提高到了79.5分。

该图展示了RealSI长文本同传基准测试中的系统性能比较（信息来源于技术报告）。

该模型拥有自动调节语速的功能，它能依据语音输入的清晰程度和说话的节奏，智能地调整输出的时间点和说话的速度。

在持续性的演讲活动等场合，系统会自动调整翻译的语速，确保译文的节奏与原话保持同步，以防止出现“无法跟上讲话速度”或“翻译提前终止”等不同步的情况。

三、0样本声音复刻，译音既准又像“你”

Seed LiveInterpret 2.0具备“0样本声音复刻”功能，它能够通过实时采集对话中的语音样本，进而掌握并模仿用户的音色特点，从而实现以用户原始声音输出的目标语言翻译。这一功能在现实会议、演讲以及跨语言交流场合中具有很高的实用价值，它不仅简化了理解难度，还提升了情感色彩的传递效果。

在多轮语音评测活动中，Seed LiveInterpret 2.0系统独树一帜，成为唯一具备“中英互译语音转同声传译及声音复刻”功能的产品。该系统在zh-en语向的SVIP（语音译文有效信息比例）高达67.8%，而在en-zh语向则达到了64.7%。其音质、节奏和语调均高度逼真，宛如真人。

此图展示了在语音到语音的同传任务中，Seed LiveInterpret 2.0与市场上主流系统在SVIP（即语音译文有效信息比例）方面的性能对比情况。（信息来源于技术报告）

得益于Seed LiveInterpret 2.0卓越的声音模仿技术，用户即便在与来自不同语言环境的人士对话时，也能保持个人独特的音色来传达外语翻译，这不仅提高了语音识别的准确性，还显著提升了交流的亲近感。

智东西率先进行了体验，在“同步翻译”环节，该系统对英语语音的转译反应迅速，音质模仿也达到了一定的相似水平，能够辨识出说话人的情绪。

整体上仍能感受到一定的延迟，尤其是在语速发生变动或句子较长的情况下，这种感觉尤为突出。

四、专业评测验证：翻译准确率达74.8分

为了对系统性能进行评估，字节Seed团队依托中英互译的RealSI数据集，特别邀请了专业的同声传译团队进行细致的人工评分。

结果显示，在语音转语音翻译的挑战中，其音译质量评分达到了66.3分，这一成绩明显超越了其他同类系统。而在语音转文本的中英互译任务上，Seed LiveInterpret 2.0的平均翻译质量评分高达74.8分（满分100分），这一成绩比排名第二的系统高出整整58%。

该图展示了在语音转文本（S2T）以及语音转语音（S2S）的同声传译任务中，人工评估的翻译准确度与处理速度的数据。图中对某些商业翻译系统使用了字母进行标识。（资料来源：字节跳动Seed）

在延迟性能上，语音转文字的场合，平均首字输出时间仅为2.21秒；而在语音转语音的场合，延迟时间为2.53秒，这充分体现了在保证质量的同时，也兼顾了速度的优异表现。

系统在BLEURT、COMET等客观翻译评估标准中同样展现出卓越的领先水平，并且是唯一能够实现“声音复刻”功能的评测系统。

在标准化测试领域，Seed LiveInterpret 2.0在执行中译英（zh-en）和英译中（en-zh）任务时，均获得了BLEURT和COMET两项指标的顶尖分数，并且在该测试的延迟指标方面，如平均滞后时间（AL）、滞后平均绝对时间（LAAL）以及滞后方差时间（FLAL）上，表现出了出色的均衡性。

在语音到语音（S2S）任务领域，Seed LiveInterpret 2.0在zh-en转换方向上实现了60.7/83.6的评分，而在en-zh转换方向上则获得了57.6/83.5的评分，同时以2.17秒的FLAL指标达到了最低的延迟水平，整体性能显著优于其他同类系统。

该图展示了针对客观测评集的评估结果，鉴于市场上适用于同传场景的高品质公开测试资料相对稀缺，字节Seed团队便将公开获取的数据与自家的内部数据集相结合进行了测试。（资料来源：字节跳动Seed）

结语：语言不再隔阂，AI真正走上同传舞台

Seed LiveInterpret 2.0在延迟控制、翻译准确率和音色还原方面取得了显著进步，标志着AI在翻译领域这一极具挑战性的技术道路上实现了重要突破。在技术层面，它依赖于多模态训练和强化学习策略；而在产品应用上，它已经具备了支持跨语言实时演讲、跨境会议以及教育直播等多种实际应用功能。

尽管目前该系统尚局限于中英两种语言的互译功能，然而，其端到端的同传框架展现出卓越的可扩展性，这为将来实现多语种翻译、情感模拟以及丰富多样的交互翻译任务打下了坚实的基础。

当人们能够同时实现“理解你的话语”以及“模仿你的表达”，语言人工智能便正在摆脱辅助工具的定位，逐步迈向人与人交流的中央舞台。