ALTK-Evolve 新增 Consistency Analyzer 和一致性指南生成
IBM Research 在 ALTK-Evolve 中引入 Consistency Analyzer 和 consistency guidelines,用于衡量并降低 AI 智能体重复执行同一任务时的波动。
推荐理由:原文把平均准确率与重复成功率分开衡量,为排查智能体生产环境波动提供了可迁移方法。
IBM Research 在 ALTK-Evolve 中引入 Consistency Analyzer 和 consistency guidelines,用于衡量并降低 AI 智能体重复执行同一任务时的波动。
推荐理由:原文把平均准确率与重复成功率分开衡量,为排查智能体生产环境波动提供了可迁移方法。
OpenAI 推出 HealthBench,这是一个面向医疗 AI 的新评测基准,用真实场景评估模型。该基准由 250+ 名医生参与建设,目标是为医疗领域的模型性能和安全提供共享标准。