Google推决策API降延迟,ElevenLabs发布语音智能体
Google Gemini:从“聊天”转向“决策”
Google这次没急着推更大的语言模型,而是切入了一个更具体、更底层的场景:让AI做快速的封闭式决策。新发布的Gemini Decisions API和背后的Gemini Decision 1模型,目标很明确——快、便宜、准。
毫秒级响应,专为批量任务设计
传统的LLM调用往往需要几百毫秒甚至几秒来生成一段文本,但对于很多业务场景,比如判断一张图片里是否有违规内容、从一堆文档中筛选出符合特定条件的条目,或者对多个选项进行排序,我们并不需要生成大段文字,只需要一个确定的答案或分数。
Gemini Decision 1就是为此设计的。它支持多模态输入,包括图像、音频、视频、PDF以及长达256K的文本上下文。最引人注目的是它的性能指标:延迟控制在150到250毫秒之间。对于需要实时反馈的应用来说,这个速度几乎是无感的。
更重要的是成本结构。Google宣布该API免收输出费用,只按输入量计费。这意味着开发者可以一次性提交多达1000个问题,让模型并行处理。比如,你可以上传一份包含上百页的合同,让模型快速判断其中哪些条款存在风险,并给出置信度评分,而不用担心因为生成了大量解释性文字而账单爆炸。
这种“校准过的置信度决策”模式,实际上是把LLM从“创作者”变成了“裁判员”。在数据清洗、内容审核、路由分发等场景中,这种转变能大幅降低系统复杂度。以前可能需要写复杂的规则引擎或者训练专用的分类模型,现在直接调用API即可,且维护成本更低。
车载场景扩展:Gemini登陆CarPlay
除了后端能力的升级,Google也在拓展Gemini的前端触达面。最新更新的Gemini应用已集成至Apple CarPlay。这意味着iPhone用户在驾驶时,可以通过语音直接调用Gemini的能力,比如查询路况、规划路线、控制音乐,甚至询问沿途的餐厅推荐。
这一动作看似平常,实则反映了AI助手正在从“手机屏幕”向“生活空间”渗透。车载环境对交互的自然度和安全性要求极高,Gemini的多模态理解和低延迟响应在这里显得尤为重要。虽然目前功能主要集中在常规的助手服务上,但这为未来更复杂的车载AI交互打下了基础。
ElevenLabs:语音智能体的“记忆”与“大脑”
如果说Google在解决决策效率问题,ElevenLabs则在试图解决语音智能体的“智商”和“记性”问题。这家以逼真TTS(文本转语音)闻名的公司,正在向全栈语音智能体平台演进。
ElevenAI:跨应用的听写与上下文传递
新预览的ElevenAI定位为团队工作助手。它的核心能力在于“听”和“记”。它可以跨应用进行听写,记录会议内容,并在智能体与人员之间传递上下文。更有趣的是它的“实时辅助通话”功能,能在通话过程中提供实时建议或信息补充。
这不仅仅是录音笔的升级版,而是一个能理解对话语境、并能主动介入工作的智能体。对于销售、客服或咨询团队来说,这意味着不再需要事后整理会议纪要,智能体可以在对话进行中就提取关键信息,甚至提示下一步该说什么。
Interaction Engine与Memory:让智能体更聪明
为了让语音智能体更像人,ElevenLabs推出了两个关键组件:Interaction Engine和Memory。
Interaction Engine是一个模型编排器。它会根据任务的难度动态调度不同的模型。简单的问候或确认使用低成本、低延迟的小模型;复杂的逻辑推理或情感安抚则切换到大模型。这种分层架构能有效平衡成本和体验,避免“杀鸡用牛刀”。
Memory组件则解决了智能体“健忘”的痛点。它能保存对话中的关键信息,并在后续交互中调用。比如,用户上周提到过对某种过敏原敏感,本周再次订餐时,智能体能自动提醒避开相关食物。此外,ElevenLabs还计划开放企业微调功能,允许公司使用自有数据定制TTS、STT(语音转文本)和底层语言模型,使其更懂行业术语和企业风格。
基础设施与工具链:更近、更安全、更清晰
在应用层之外,数据库、开发工具和视频生成领域也有值得关注的更新。
AlloyDB:在数据库内直接运行AI
Google Cloud为AlloyDB新增了两个AI函数:ai.classify和ai.extract。以往,要对数据库中的非结构化文本进行分类或提取实体,开发者通常需要先将数据导出,调用外部AI API,处理后再写回数据库。这个过程不仅代码繁琐,还涉及数据移动的安全风险和延迟。
现在,这些操作可以直接在数据库内部完成。ai.classify可以根据预定义的标签对文本进行分类,ai.extract则能从中提取结构化数据。这不仅简化了开发流程,减少了外部依赖,还因为数据无需离开数据库而提升了安全性。对于处理海量非结构化数据的企业来说,这是一个显著的架构优化。
LLM CLI修复安全漏洞
开发者常用的LLM命令行工具发布了0.37.2版本,修复了一个与OpenAI兼容端点配置相关的安全问题。如果你使用该工具连接第三方模型API,建议尽快升级。这类底层工具的安全性往往容易被忽视,但一旦出问题,可能导致API密钥泄露或被恶意利用。
Runway Seedance 2.5支持4K生成
视频生成领域,Runway上线了Seedance 2.5的4K版本。虽然官方尚未公布具体的性能数据,但支持4K分辨率意味着生成的视频在细节保留和清晰度上有了质的飞跃。这对于影视制作、广告创意等高要求场景至关重要。高分辨率视频生成的算力消耗巨大,Runway能否在保持速度的同时控制成本,将是接下来观察的重点。
Databricks Genie Ontology提升准确率
Databricks与其合作伙伴Turing评测显示,引入Genie Ontology后,Genie系统的准确率提升了1.6倍,同时Token用量减少了一半以上。Ontology(本体论)在这里起到了知识图谱的作用,通过结构化地定义数据之间的关系,帮助LLM更准确地理解查询意图,从而减少幻觉和不必要的推理步骤。这再次证明,在垂直领域,结合结构化知识的LLM应用往往比纯端到端模型更高效、更可靠。
结语
从Google的决策API到ElevenLabs的智能体记忆,再到AlloyDB的库内AI,我们可以看到一个清晰的趋势:AI正在从“通用聊天机器人”向“专用、高效、嵌入式的 infrastructure”转变。开发者不再仅仅关注模型有多聪明,更关注它有多快、多便宜、多容易集成。未来的AI竞争,将更多体现在这些工程化细节和场景化落地能力上。