DeepSeek开源推理框架DeepInfer，Google连推TorchTPU与llm-d 1.0

2026-10-21 12:49 0 阅读

DeepSeek开源DeepInfer：把自家低价推理的秘密武器放出来了

DeepSeek这周把压箱底的东西拿出来了。10月20日，他们宣布以Apache-2.0协议开源内部推理框架DeepInfer，同时放出的还有配套组件deepseek-recipe。

这个框架不是实验性质的玩具。按照官方说法，DeepInfer已经支撑了DeepSeek-V4.1-Flash的大规模低延迟服务——就是那个让行业震惊的低价模型背后的基础设施。现在整套技术栈全部开放，包括高性能算子、分布式推理、推测解码、结构化输出这些生产环境刚需的能力。

技术社区的反应很直接。有开发者评论说，这相当于把DeepSeek维持低价竞争力的核心秘密公开了，"善莫大焉"。从开源内容来看，DeepInfer覆盖了从优化内核到MoE并行、从均衡CP到异步调度的完整链路，文档和配置模板也一并放出，确实是要让人能直接跑起来的架势。

Google这周在基础设施层面的动作同样密集。他们开源了TorchTPU，让PyTorch模型可以原生运行在Google TPU上，不再需要复杂的适配层。这对用惯了PyTorch生态的开发者来说门槛降低不少——以前想上TPU，往往得折腾XLA或者改模型代码，现在理论上能直接跑。

同一天发布的llm-d 1.0则是另一个维度的开源。这是一个面向Kubernetes的分布式推理栈，由Google、Red Hat和IBM等联合推出，已经积累了超过500名贡献者。它的定位很明确：帮企业在自有基础设施上部署大模型和智能体，支持TPU与GPU混合环境。

两个项目放在一起看，Google的意图挺清楚：既想留住PyTorch开发者（TorchTPU），又想给企业一个脱离公有云也能跑大模型的选项（llm-d）。后者尤其值得关注，因为它直接回应了这段时间关于"AI基础设施自主可控"的讨论。

除了开源项目，Google这周还更新了两项面向特定场景的服务。

Google Distributed Cloud新增了主权AI能力，简单说就是让国防、情报这类对数据出境极度敏感的机构，能在完全隔离的环境里跑Gemini模型。配套推出的还有托管RAG搜索，同样限定在"受控边界"内——数据不出境，但能用上多模态检索增强生成。

另一边，Gemini for government则是面向公共部门的通用智能体方案。官方描述的能力包括自主规划、执行知识工作、生成媒体内容、运行代码——基本上覆盖了政府文书工作的主要场景。这个发布时间点和全球各国政府加速AI采购的节奏吻合，但具体落地效果还得看后续案例。

Hugging Face这周介绍了PyTorch 2.15中Apple MPS（Metal Performance Shaders）支持的更新。对于在Mac或Apple Silicon设备上做本地开发和推理的人来说，这次调整提供了更明确的参考路径。

MPS后端一直是苹果生态AI开发的痛点——能用，但坑不少。2.15版本的更新没有大张旗鼓宣传，但Hugging Face的博文提到了一些关键修复和性能改进。考虑到越来越多开发者用M系列芯片跑小模型，这个更新虽然小众，但确实解决实际问题。

最后是一条未经证实的消息。量子位报道称，一款尚未正式发布的Claude新模型被曝光，核心卖点是根因级代码修复——不是表面改改，而是能"跳出既有思路"定位问题源头。

目前Anthropic官方没有确认任何信息，型号和评测数据都缺。这种"提前泄露"的套路在AI圈不算新鲜，但如果是真的，意味着Claude在代码能力上可能要有阶段性提升。毕竟现在的模型修Bug多是模式匹配，真正的根因分析需要更强的抽象和推理能力。