IBM与Confluent合作:在流数据中直接运行时间序列模型
告别“事后诸葛亮”:当预测模型遇上实时数据流
在大多数企业的数据架构里,时间序列数据(比如机器传感器读数、销售记录、股票交易)通常是被“存”下来的。我们先收集数据,清洗后存入数据仓库,然后数据科学家花几周时间训练一个模型,最后得到一个预测结果。
问题在于,当这个预测结果出来时,那个导致异常的生产批次可能已经报废了,或者那笔可疑的交易已经完成了授权。对于需要即时反应的业务场景,传统的“批处理+离线建模”模式太慢了。
IBM Research 和 Confluent 最近推出的合作方案试图解决这个问题:把 IBM 的 Granite 时间序列基础模型直接嵌入到 Confluent 的数据流平台中。简单来说,数据在流动的过程中,模型就能实时对其进行预测、检测异常或优化参数。而且,这些模型不需要昂贵的 GPU,普通的 CPU 就能跑。
这不是一个概念验证,而是已经可用的功能。IBM 的这套时间序列模型家族在 Hugging Face 上的下载量已超过 5000 万次,现在它们以内置函数的形式出现在 Confluent Cloud 和本地部署平台中。开发者只需要写 SQL,就能调用这些模型。
什么是 Streamhouse?
要理解这项技术的价值,得先看看 Confluent 提出的“Streamhouse”概念。
传统的数据架构往往是割裂的:操作型数据库负责交易,数据湖负责存储历史数据,两者之间的数据同步有延迟。当 AI 代理或应用程序基于过时或不一致的数据做决策时,风险就产生了。
Streamhouse 旨在通过持续捕获、处理和治理数据,提供实时的业务上下文。Confluent 的平台整合了连接、流式传输、处理、治理和查询五个环节。其中,Apache Flink 负责在数据流动时进行转换和丰富,而 Lightning Tables 则提供对当前状态的低延迟访问。
在这个架构中加入时间序列模型,相当于给实时数据流装上了“预判能力”。Flink 可以在数据流经时调用模型,生成预测值或异常标记,并将这些结果与原始事件一起发送给下游应用。其他类型的模型(如大语言模型或统计模型)也可以在同一管道中协同工作。
这种架构带来了几个实际好处:
- 降低建模门槛:预训练的基础模型可以作为起点,无需为每个时间序列单独训练模型。
- 实时更新预测:随着新数据的流入,预测结果可以动态刷新,反映最新的状态。
- 决策更贴近现场:预测信号可以直接送达操作型应用,结合业务规则和人为判断快速行动。
- 基础设施简化:模型小巧,能在 CPU 上运行,降低了部署复杂性和硬件成本。
六个真实场景:从工厂到交易台
理论听起来不错,但具体怎么用?以下是六个来自不同行业的典型用例,展示了实时时间序列智能如何改变业务流程。
1. 生产优化:让每一桶冰淇淋都达标
在冰淇淋生产中,“膨胀率”(overrun,即混入空气的量)是决定质量的关键指标。传统做法是依赖质检实验室在灌装后进行的测量。如果某天奶油批次不同,或者天气湿热影响了工艺,等到质检结果出来时,可能已经有几小时的不合格产品被生产出来了,只能返工。
新的方案是:预训练的 TTM 模型每 10 分钟读取一次 SCADA 遥测数据和质检测量值,提前 4 小时预测符合标准的桶比例及其范围。
如果预测值低于目标,优化程序会评估冷冻机抽取温度和气流的不同组合。因为模型将这些控制变量作为输入,它可以在实际调整前对每个选项进行评分。操作员批准推荐的设定点,或者在预设的安全范围内自动调整。
结果是更主动的过程控制:减少返工,降低每吨产品的能耗,并提高质量一致性。同样的逻辑也适用于烤箱、干燥机、窑炉等设备。
2. 异常检测:从“报警”到“行动”
零售运营团队需要监控数百家门店、数千种产品的销售情况。使用固定阈值往往会导致误报(比如周末的正常销售高峰被标记为异常),或者漏报(比如某产品销量悄然下滑)。
Confluent 提供的 AI_DETECT_ANOMALIES 函数会根据每个销售序列的历史数据,动态计算其预期范围。新的销售数据会与这个范围进行比较,置信度可由团队设定。无需为每个产品和门店单独训练模型。
当销售额超出预期范围时,系统可以结合库存和门店数据,帮助识别原因并推荐下一步行动——例如检查货架或补货。这种方法同样适用于机器传感器、API 遥测、电表读数和支付交易量。
3. 供应链规划:每个 SKU,每家店,每小时
品类计划员和补货团队的目标是在不积压库存的前提下保证货架有货。但传统预测可能每周才更新一次,且只关注头部产品。当销售模式在两个计划周期之间发生变化时,一家店可能缺货,另一家店却库存过剩。
使用 AI_FORECAST,预训练模型可以跨产品和门店预测需求。例如,它可以生成未来 28 天的预测,并提供 P10–P90 的概率区间,且随着新销售数据的到来不断刷新。规划应用将预测与库存、交货期和服务水平结合,计算再订货点。
当预计库存低于该点时,AI 代理可以起草采购订单供人工审核。这种方法也适用于备件规划、人员排班、ATM 现金管理和能源需求预测。
4. 欺诈与安全:每张卡都有自己的“正常”
反欺诈团队通常依赖复杂的规则和模型来评估交易。一个持续存在的挑战是:应用于所有持卡人的统一阈值,无法反映每个人的正常消费习惯。
时间序列信号可以提供这种个体化的背景。在此示例中,每笔支付都会与该卡片最近历史中的预期支出范围进行比较。超出该范围的交易会被作为额外输入传递给银行现有的欺诈系统,与其他信号和业务规则一起评估。
银行随后可以决定批准支付、要求额外身份验证或进一步调查。决策及其背后的信号都会被保留以供审查。
5. 交易执行:跟着行情节奏走
执行交易台需要将大单拆分为小单,同时管理对市场的影响。历史成交量曲线只是一个起点,当天的实际交易活动可能与平均水平大相径庭。
在每一分钟的 K 线上,PatchTST-FM 模型会预测未来 30 分钟的交易量,并提供 P10–P90 区间。执行算法利用这一预测,在交易台设定的参与限制内调整下单节奏。
如果新闻事件改变了市场活跃度,算法可以暂停并重新规划。如果交易比预期清淡,它可以减小每笔单子的大小,并提示订单可能需要更长时间才能完成。每次预测及相应的执行决策都会保留在审计轨迹中。
6. 语义搜索:找到所有长得像的信号
可靠性工程师在调查一个异常的传感器模式时,可能想知道工厂其他地方是否出现过类似行为。
TSPulse 模型可以生成时间序列窗口的嵌入表示(embeddings),支持相似性搜索。在一个单独构建的应用程序中,这些表示可以被索引,用于检索设备间的历史模式。工程师可以搜索特定的形状,如“尖峰后恢复”、“逐渐上升”或“阶跃变化”,然后检查相关的维护记录和运行条件。
这需要嵌入管道、索引和对相关上下文的访问。相似性搜索有助于缩小调查范围,但它本身并不能确定根本原因。
行业应用的共性
尽管行业不同,但底层逻辑是一致的:
工业 AI:从传感器到设定点。工厂经理希望每批产品都合格,生产线不因意外停机。SCADA、质检和能源计量数据流在到达时即被预测。生产优化在质量开始漂移时移动设定点,异常检测标记那些没有规则覆盖的读数,语义搜索找出故障前表现出相同模式的所有泵。设定点、工单和警报在周期内到达车间,而不是等到下一班次报告。
零售:门店与供应链。店长希望周六货架满满,周一没有积压。销售、天气和促销数据流为每家店的每个产品进行预测。供应链规划设置订单,异常检测捕捉空货架或 missed delivery,欺诈和安全拦截可疑刷卡。订单、门店任务和拦截指令在货架变空之前发出。
银行业:支付与交易台。反欺诈负责人希望阻止卡片测试而不阻碍正常客户,交易员希望在不影响价格的情况下完成大单。每张卡和每个符号都根据其自身的预期模式逐事件评分。欺诈和安全在授权前拦截异常刷卡,异常检测发现异常流量,交易根据预测成交量调整每笔订单的节奏。
航空业:枢纽运营、机队与网络。运营控制中心希望在仍有时间采取行动时看到中断。发动机、登机口和网络数据流被实时预测和检查。异常检测捕捉漂移的发动机读数,生产优化重新平衡登机口和机组人员,供应链规划将备件放到飞机即将到达的地方。
为什么这很重要?
过去,要在生产环境中部署时间序列模型是一项繁重的工作。你需要准备特征工程、训练模型、部署服务、监控漂移,还要处理数据延迟问题。
现在,通过 Confluent 和 IBM 的合作,这些模型变成了类似于 SQL 中的 SUM() 或 AVG() 这样的内置函数。你不需要关心模型是怎么加载的,也不需要管理 GPU 集群。数据流过 Flink,模型即时给出结果,应用层直接消费。
这种“流式智能”(Streaming Intelligence)的转变,让企业能够从“记录发生了什么”转向“预测将要发生什么”,并在事情变得不可挽回之前采取行动。对于依赖实时决策的行业来说,这可能意味着数百万美元的损失避免或效率提升。
当然,这也带来新的挑战:如何确保模型的准确性?如何处理模型误报?如何解释模型的决策?这些问题没有银弹,但至少现在,工具已经就位,让我们有机会在数据最新的时刻做出最明智的判断。