ProvenanceGuard:面向 MCP 智能体的溯源感知核查
ProvenanceGuard 是针对 MCP 智能体推出的生成后事实核查层,专门解决事实正确但归因来源错误的“跨来源混淆”问题。该方案在无需重新训练模型的情况下,通过读取包含工具输出与来源 ID 的 MCP 轨迹,逐项核对声明与其归属来源是否匹配。在 361 项专家测试声明中,它成功拦截了 139 项违规声明中的 138 项,来源识别准确率达 86%。
ProvenanceGuard 是针对 MCP 智能体推出的生成后事实核查层,专门解决事实正确但归因来源错误的“跨来源混淆”问题。该方案在无需重新训练模型的情况下,通过读取包含工具输出与来源 ID 的 MCP 轨迹,逐项核对声明与其归属来源是否匹配。在 361 项专家测试声明中,它成功拦截了 139 项违规声明中的 138 项,来源识别准确率达 86%。
英国人工智能安全研究所与 EvalEval 联盟合作,通过 Evaluation Cards 平台与统一规范公开发布评测运行记录与配置细节。公开数据覆盖 Claude Opus 4/4.5/4.6 及 GPT-5/5.2/5.4 等 6 款前沿模型,涉及 FrontierMath、Humanity's Last Exam 等 5 项基准。
新研究将大语言模型的 Transformer 块剪枝建模为约束二进制优化与伊辛玻璃问题,通过最小化能量确定最优删除组合。该方法利用 Hessian 矩阵捕捉层间耦合相互作用,无需逐一运行基准测试即可低成本评估海量配置。在 Llama-3.3-70B-Instruct 的 50% 压缩测试中,其 MMLU 得分比现有最佳块删除方法高出近 23 个百分点。
IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer,用于衡量并改善智能体在重复运行下的不稳定问题。
推荐理由:原文提出 Pass^k 与一致性差距的度量,并给出把差距减半的检测与修复方法,可用于判断智能体上线后的可靠性。
AllenAI 推出大语言模型评测审计方法 BenchMIRT,利用多维项目反应理论在题目层面上拆解评测基准实际衡量的底层能力。该研究对 100 个模型在 16 个基准上的表现进行分析,发现 BBQ 和 WMDP 等通常归类为安全的基准实际上受通用推理能力驱动更深。实验还表明,仅筛选保留 10% 高区分度的题目,即可基本复现全量基准区分模型安全与推理能力的效果。
Hugging Face 联合 Voice Arena 在 Open ASR Leaderboard 中上线 Monsoon 印地语与印度英语语音评测集。该数据集包含 4,888 位说话人及 12 项人口统计学元数据,涵盖公有与私有切分,支持按地区、年龄和设备等多维度排查识别错误。
Hugging Face 针对语音识别模型刷榜和基准过拟合现象提出三种量化测试,并评估了 11 个主流开源 ASR 模型。实测显示部分基准高分模型会直接复现参考文本里的历史标注错误,在音频数字被静音时仍有 30% 至 40% 的概率猜出被抹去的数字,甚至依赖背景声学线索切换不同数据集的拼写习惯。
推荐理由:该研究量化了语音模型利用声学线索迎合测试集的过拟合行为,为评估模型真实泛化能力提供了实用检测方法。
Hugging Face 与 alphaXiv 联合举办 ICML 2026 开放复现挑战赛,1,221 名社区成员利用编码智能体复现了 2,226 篇论文。审计结果显示 51% 的论文至少有一项声明得到独立验证,23% 存在被推翻或具争议的声明,多篇论文的证明缺陷或代码偏差已获原作者确认并提交 arXiv 更正。
推荐理由:原文展示了社区利用编码智能体大规模复现顶会论文的实测数据,呈现了智能体在学术审计中的潜力与人机协作边界。
语音 AI 基准 Real World VoiceEQ 正式发布,基于超过 100 万项人类真实评分,全面评测 40 多款主流专有及开源语音模型的实际交互质量。
IBM Research 推出企业级 Java 框架迁移评测基准 ScarfBench,用于评估 AI 智能体在 Spring、Jakarta EE 与 Quarkus 之间的跨框架重构能力。