SALMONN-2：清华等开源通用音频大模型，如何实现高效多任务理解？

2026-08-10 12:31 3 阅读

从双编码器到统一前端：SALMONN-2的架构革新

在通用音频大语言模型（ALLM）领域，传统方案往往采用双编码器结构，例如Whisper负责语音识别，BEATs负责非语音音频理解。这种设计虽然能覆盖更多任务，但存在架构复杂、特征融合困难、跨域能力不均衡等问题。SALMONN-2的提出，正是为了打破这一瓶颈。它采用字节跳动开源的SPEAR统一自监督音频编码器，替代了传统的双编码器方案，在简化架构的同时，实现了更均衡的跨域音频理解能力。

SPEAR编码器在大规模无标注音频数据上通过自监督学习训练，能够同时捕捉语义、发音、音色、说话人及声学环境等多维度信息。这种统一前端的设计，使得模型在处理语音、环境声、音乐等不同音频类型时，无需切换编码器，从而提升了推理效率和泛化能力。

多层特征融合：让模型“听”得更细

音频信号中蕴含着丰富的信息层次：浅层特征包含声学细节（如音高、音色），中层特征携带说话人身份和韵律信息，深层特征则积累语义概念。传统方法往往只使用编码器的最后一层输出，导致大量关键信息丢失。SALMONN-2提出的多层特征融合（MLF）适配器，正是为了解决这一问题。

MLF适配器首先对各层隐状态进行层归一化，然后拼接所有层的特征，再通过可学习的下投影和帧分组压缩，将融合后的层次化表征映射到语言模型的嵌入空间。这种设计使得模型能够根据任务需求，灵活调用不同层级的声学线索。例如，在语音质量评估任务中，模型可以重点关注浅层的噪声和失真特征；而在语音识别任务中，则更多依赖深层的语义信息。

时间戳注入：让模型“听”出时间

声音事件检测（SED）和音频伪造检测等任务，不仅要求模型识别事件类型，还需要定位事件发生的起止时间。SALMONN-2采用了一种巧妙的时间戳注入机制：将时间戳以自然语言文本形式（如<2.0 seconds>）直接插入音频序列，与音频嵌入交错输入语言模型。这样，模型在统一的生成框架内即可完成时间定位任务，无需额外的时间戳专用嵌入层。

这种设计不仅简化了模型结构，还让时间戳信息与音频特征深度融合，提升了定位精度。在实验中，SALMONN-2在SED任务上的时间边界预测准确率显著优于基线模型。

多模态上下文学习：让模型“听”懂生僻词

在语音识别中，生僻词、专有名词和人名往往难以准确识别。SALMONN-2引入的多模态上下文学习（MICL）机制，为这一问题提供了新思路。在训练时，模型不仅接收文本偏置词表，还同步获取这些词的参考发音音频作为多模态上下文。例如，当用户提供“张三”的发音音频时，模型在识别时就能结合该音频特征，提高“张三”的识别准确率。

为了防止模型过度依赖上下文线索，训练中引入了干扰词与目标词随机丢弃策略。这使得模型学会在声学证据支持下合理利用上下文，而不是盲目偏置。实验表明，MICL机制在生僻词识别任务上，将准确率提升了约15%。

数据高效：1.8万小时如何超越百万小时？

SALMONN-2最令人惊讶的特点之一，是其仅使用约1.8万小时的监督数据，就达到了与使用超过100万小时数据的竞品相当甚至更优的性能。这得益于其统一自监督编码器和多层特征融合设计。SPEAR编码器在大规模无标注数据上预训练，已经学到了丰富的音频表征，因此下游任务只需少量标注数据即可微调。此外，MLF适配器充分利用了编码器的所有层，减少了信息损失，进一步提升了数据效率。

这种数据高效性对于资源有限的团队尤为重要，降低了训练成本，也使得模型更容易适应新任务。

性能对比：SALMONN-2 vs MOSS-Audio

为了更直观地展示SALMONN-2的优势，我们将其与同规模的MOSS-Audio进行对比。在模型规模相近（均为9B参数）的情况下，SALMONN-2的监督训练数据仅为MOSS-Audio的约1/55，但在三大综合基准上均取得领先：MMAU-Pro得分58.5（MOSS-Audio为57.5），MMAR得分64.5（MOSS-Audio为64.4），MMSU得分69.5（MOSS-Audio为66.4）。

更关键的是，SALMONN-2原生支持声音事件检测、音频伪造检测和语音质量评估，而MOSS-Audio未系统支持这些任务。此外，SALMONN-2的多模态上下文ASR能力也是MOSS-Audio所不具备的。这些差异使得SALMONN-2在音频分析领域具有更广泛的应用前景。

应用场景：从会议助手到辅助听障

SALMONN-2的进阶能力使其在多个实际场景中具有巨大潜力。在智能会议助手中，它可以实时转录会议内容，并结合参会人的发音示例，准确识别外籍人名和专业术语。在音频内容审核中，它能自动检测直播或播客中的异常声音事件，并识别深度伪造语音，防范诈骗风险。在语音质量监控中，它可对客服通话、录音棚素材进行自动化质量评分，定位噪声与失真片段。

此外，SALMONN-2还可用于多媒体档案检索，为历史音频、广播节目生成带时间戳的事件描述，实现基于内容的精准检索。在辅助听障设备中，它能将环境声事件（如门铃、警报）以文字与时间戳形式实时提示听障用户，提升生活便利性。

快速上手：三步运行SALMONN-2

对于开发者而言，SALMONN-2的开源特性使得快速部署成为可能。首先，访问GitHub仓库（https://github.com/bytedance/SALMONN/tree/salmonn2），克隆代码到本地。其次，创建Python 3.10虚拟环境，安装依赖（pip install -r requirements.txt）和项目本身（pip install -e . --no-deps）。最后，通过HuggingFace下载预训练权重（hf download marcoyang/SALMONN-2-8B --repo-type model --local-dir /path/to/salmonn-2-hf），并使用AutoProcessor和AutoModelForCausalLM加载模型，传入音频文件和指令文本，调用model.generate()即可获得结果。

整个过程无需复杂的配置，适合有一定深度学习基础的开发者。官方还提供了详细的文档和示例代码，降低了使用门槛。