B站开源Index-Translate:150种语言翻译模型,支持语音克隆与音节控制

4 阅读

项目背景与定位

B站的Index LLM团队最近把一套多语言翻译模型开源了,叫Index-Translate。这东西不是单一模型,而是一个家族,包含四个针对不同场景的子模型:基础的文本翻译、带音色克隆的语音翻译、能控制音节数的配音专用翻译,以及专门处理长文档的全文翻译。

整套方案基于阿里Qwen3.5基座,用Apache-2.0协议发布,权重可以直接下载部署。B站做翻译模型有它的场景驱动——站内大量视频需要出海,弹幕和评论里又全是社区黑话和梗,传统翻译工具要么语言覆盖不够,要么不懂这些语境。

四个子模型各自解决什么问题

Index-Translate:基础文本翻译

这是家族里的基座模型,提供2B、9B、35B-A3B三个规模。2B适合边缘部署,9B是平衡选择,35B-A3B走MoE架构,激活参数只有3B但性能接近稠密大模型。

语言覆盖是核心卖点。官方说支持150种语言互译,特别强调了小语种表现。在FLORES_minor_pair评测里,35B-A3B的off-target率(翻成错误语言的比率)只有2.4%。这个数字的意义在于,小语种翻译经常出现的"我以为它翻成了X语,其实是Y语"的问题,在这里被压得很低。

模型训练时加入了大量翻译指令数据,所以能同时处理多个约束:术语表要统一、格式标记要保留、某些字段只看不翻。评测里有个instTrans任务集,专门测这种"既要翻得对,又要听指挥"的能力。9B在这个任务上的指令遵循得分0.7725,比对比的商用模型都高。

Index-Echo:语音到语音翻译

做视频出海的人经常遇到这个困境:机器翻译的字幕能看,但配音要么找真人太贵,要么TTS太机械。Index-Echo想解决的是"翻译+配音+像原声"这三件事。

技术路线是级联:语音识别→文本翻译→语音合成。关键在最后一环,用了阿里的CosyVoice,并且把源音频的说话人特征向量抽出来,注入到合成模块里。这样目标语言的配音会带上原说话人的音色风格,不是完全克隆,但听起来有连续性。

处理长音频时按60秒窗口分段,保留前5个窗口的历史文本作为上下文,避免段与段之间语气突变。支持S2ST(语音转语音,直接出配音)和S2TT(语音转文字,出字幕)两种模式。

Index-Homura:音节可控翻译

这是给配音场景量身定做的。视频翻译有个经典难题:中文说"你好"两个字,英文"Hello"也是两个音节,但"很高兴见到你"五个字,英文"Nice to meet you"四个音节,嘴型对不上。

Index-Homura的做法是把目标音节数作为显式条件写进prompt,让模型在翻译时同步做两件事:选词和算长度。如果预算紧张,它会把"非常高兴"压缩成"delighted";如果预算充裕,也可以展开成"I'm absolutely thrilled"。

评测在SandGlass数据集上做,81.92%的输出音节偏差控制在10%以内。这个数字意味着,大部分情况下你不用再手动调台词来对口型。

Index-NativeLong:长文档全文翻译

传统长文档翻译是切块处理的:每几千字一段,段内翻译,段间靠重叠上下文或外部词表来保持一致性。问题是人名、术语、概念层级这些需要"全局记忆"的东西,切断了就很难对齐。

Index-NativeLong的做法很直接:利用长上下文窗口,一次把全文塞进去,连续生成译文。2B模型支持262K tokens,9B支持229K,换算成中文大约是20万到40万字的量级,一本中篇小说可以整本处理。

这样做的好处是模型自己"记得"前文怎么翻的人名,后文自动沿用;遇到"上卷提到的那个概念"也能正确指代。不需要人工维护术语表,也不存在分块边界处的语义断裂。

技术实现细节

训练与推理

基座是Qwen3.5,用多语言平行语料和翻译指令数据做微调。推理部署推荐vLLM,文本模型默认用贪心解码(greedy),保证同样输入同样输出,方便复现和调试。

语音翻译的音色克隆依赖CosyVoice的说话人特征提取和注入,这部分需要额外的音频处理链路。音节控制用了采样解码而非贪心,因为要在多个满足音节约束的候选里选最优,需要一定的生成多样性。

评测体系

除了常规的FLORES、WMT26,团队自建了四个任务集:

  • instTrans:翻译质量与指令遵循分开打分,测"听不听话"
  • MEME:针对社区热梗、谐音、简称的翻译,比如"结芬"(结婚)"狒瘾"(FF14上瘾)这类B站常见表达
  • SandGlass:音节控制精度评测
  • 长文档多档长度:测不同长度下的术语一致性

这种评测设计明显是贴着真实业务场景建的,不是只刷通用benchmark。

部署与使用

本地部署文本模型

最轻量的2B模型,有GPU就能跑:

git clone https://github.com/bilibili/Index-Translate.git
cd Index-Translate
pip install -U vllm
pip install -r inference/llm/requirements.txt
vllm serve IndexTeam/Index-Translate-2B --host 127.0.0.1 --port 8000 --max-model-len 4096

Loomy

服务起来后,另开终端:

python inference/llm/translate.py "你好,世界" --target en --model IndexTeam/Index-Translate-2B

默认走本地8000端口,也可以改--base-url或环境变量对接自己的推理服务。

专项能力调用

音节控制:inference/llm/syllable_translate.py --syllables 12

长文档:doc_translate.py --direction zh-en

语音翻译:按仓库里的S2TT或S2ST指南,用s2tt.py或dub.py处理音视频。

免部署体验

官方搭了个在线Demo在https://index-translate.bilibili.com/,四类能力都能试。另外有浏览器插件,本地部署后可以翻译网页。

与同类方案的对比

字节之前也发了Doubao-Seed-Translation,但那是闭源API,只支持28种主流语言,上下文4K,长文档基本用不了。Index-Translate的优势在于开源可本地部署、150种语言覆盖、长上下文支持,以及针对视频配音和网文翻译的场景优化。

不过Doubao-Seed在中英翻译质量上宣称逼近DeepSeek-R1,这个Index-Translate没有直接对标。两者的定位差异明显:一个走开源工具路线,一个走商业API路线。

实际能用在哪

视频本地化:Echo出配音+Homura控时长,影视剧、课程、Vlog出海可以省掉大量人工调台词的工作。

多语言字幕:S2TT模式给直播、演讲自动生成字幕,支持的语言比主流商用服务多。

社区内容出海:MEME能力针对的就是B站生态,弹幕、动态、游戏梗翻译时保留语境,不是字面直译。

网文与出版:NativeLong整本翻译,人名术语自动一致,适合网文批量出海或者学术长文处理。

电商与产品资料:按指令只翻译CSV指定列、保留JSON结构,译文可以直接进业务系统,不用二次清洗。

获取方式

模型权重、推理代码、评测数据都放出来了,协议是Apache-2.0,商用友好。