微信视觉团队开源多模态嵌入模型 WeMM-Embedding，日调用量超十亿

2026-09-08 12:40 2 阅读

微信用的多模态模型，现在开源了

腾讯微信视觉团队最近把他们内部用的多模态嵌入模型 WeMM-Embedding 开源了。这个模型不是实验室里的概念产品，而是已经在微信的推荐和搜索系统里跑了很久，每天被调用超过十亿次。

简单来说，WeMM-Embedding 能把文字和图片都转换成向量（也就是“嵌入”），让机器能用同一种语言理解不同模态的内容。比如你发一张猫的照片，它能和“可爱的小猫”这段文字在向量空间里靠得很近。这种能力是现代推荐、搜索、内容审核等系统的底层基础。

这次开源不是只放个代码仓库就完事。团队直接提供了三个不同大小的版本：2B、4B 和 9B。这里的“B”指的是模型参数量的大致规模（十亿级别），开发者可以根据自己的算力和延迟要求选择合适的版本。小一点的适合移动端或边缘设备，大一点的适合对精度要求高的云端场景。

WeMM-Embedding 的核心设计思路是“统一”。不管是处理文字还是图片，都走同一个模型主干。这种设计的好处很明显：不用维护两套系统，训练数据可以互相促进，推理时也更容易对齐语义空间。

为了达到这个目标，团队采用了两阶段训练策略。第一阶段先分别用大量图文对数据预训练文本编码器和图像编码器，让它们各自具备不错的单模态理解能力。第二阶段再把两个编码器拼到一起，用更高质量、更对齐的数据进行联合微调，重点优化跨模态的匹配精度。

此外，模型还用了知识蒸馏技术。具体做法是拿一个更大的教师模型（可能是 9B 或更大）去指导小模型（比如 2B）的学习。这样小模型虽然参数少，但能学到大模型的“经验”，在保持轻量的同时不损失太多效果。

很多开源模型号称“工业级”，但实际没经过真实流量考验。WeMM-Embedding 不一样——它每天在微信里处理十亿级的请求，这意味着它必须扛得住高并发、低延迟、高可用这些硬指标。

微信的推荐系统要处理朋友圈、视频号、公众号、小程序等各种内容形态，用户行为极其复杂。搜索系统则要应对模糊查询、错别字、多语言混杂等现实问题。能在这种环境下稳定运行，说明模型不仅准确率高，鲁棒性也很强。

比如用户搜“那个穿红衣服跳舞的视频”，系统得理解“红衣服”是视觉特征，“跳舞”是动作语义，还要结合上下文猜用户到底想找谁。这类任务背后就是多模态嵌入在起作用。

目前 WeMM-Embedding 的代码、预训练权重和推理示例已经放在 GitHub 上。文档里详细说明了如何加载模型、处理输入、获取嵌入向量。对于想快速上手的开发者，团队还提供了 Docker 镜像和 Hugging Face 模型卡。

模型支持常见的输入格式：文本可以直接传字符串，图片可以传 PIL Image 对象或 NumPy 数组。输出是固定维度的浮点向量（比如 1024 维），可以直接用于计算相似度、聚类、分类等下游任务。

值得注意的是，虽然模型本身开源，但训练数据并没有公开。不过团队在论文和技术报告里披露了数据规模和构成比例，比如用了多少亿级别的图文对、是否包含 OCR 文本、有没有做数据清洗等，这对复现和改进很有帮助。

对于中小团队来说，自己从头训练一个多模态嵌入模型成本太高。光是收集和清洗高质量图文对就得花几个月，更别说调参和分布式训练了。WeMM-Embedding 相当于提供了一个“开箱即用”的基座。

你可以直接用它做以下事情：

而且因为模型已经在微信这种超大规模场景验证过，你不用担心它在线上崩掉。部署时还能根据业务需求选 2B、4B 或 9B 版本，灵活控制资源消耗。

这次开源不只是放个模型，更反映了大厂 AI 策略的变化。过去很多公司把核心模型当宝贝藏着，现在越来越愿意把经过验证的技术开放出来。一方面是为了建立技术影响力，另一方面也是推动整个生态发展——毕竟大家都用类似的基座，后续的工具链、评测标准、应用场景才能更快成熟。

微信作为拥有十亿级用户的平台，其技术选择本身就具有风向标意义。WeMM-Embedding 的开源可能会带动更多团队尝试统一多模态架构，而不是继续维护割裂的文本和视觉系统。

当然，开源只是第一步。后续社区能否活跃起来，还得看文档是否清晰、issue 是否及时回复、是否有持续更新。但从目前放出的材料来看，微信视觉团队是认真想把这个项目做下去的。

如果你正在做需要同时处理文字和图片的项目，不妨试试 WeMM-Embedding。至少在效果和稳定性上，它已经过了最严苛的考验。