跳到正文

#部署/工程

今日 0 条
9月24日周四
  1. Microsoft Research60

    微软研究院:把物理 AI 推理卸载出机器人可提升任务表现与续航

    微软研究院对移动机器人操作负载做了首次系统性研究,结论是推理不必局限在机器人本地 GPU,卸载到边缘或云端 GPU 可提升任务表现与续航。评估显示,在内存足够的 GPU 上,建图与规划相比 A100 最多慢 383%;较轻 GPU 让导航及时检测障碍物下降 30%,VLA 模型精度下降 50%。

    推荐理由:微软对机器人离线推理做了首次系统性测量研究,给出任务性能与续航的量化对比,并开源配套工具链。

9月21日周一
  1. Hugging Face Blog45

    像物理学家一样剪枝大语言模型:将块删除建模为伊辛优化问题

    新研究将大语言模型的 Transformer 块剪枝建模为约束二进制优化与伊辛玻璃问题,通过最小化能量确定最优删除组合。该方法利用 Hessian 矩阵捕捉层间耦合相互作用,无需逐一运行基准测试即可低成本评估海量配置。在 Llama-3.3-70B-Instruct 的 50% 压缩测试中,其 MMLU 得分比现有最佳块删除方法高出近 23 个百分点。

9月16日周三
  1. Hugging Face Blog66

    IBM Research 提出 Consistency Analyzer:把智能体的一致性差距从 24.4 点减半到 12.0 点

    IBM Research 在 Hugging Face 博客介绍 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer,用于衡量并改善智能体在重复运行下的不稳定问题。

    推荐理由:原文提出 Pass^k 与一致性差距的度量,并给出把差距减半的检测与修复方法,可用于判断智能体上线后的可靠性。

8月25日周二
8月24日周一
8月10日周一
6月25日周四
  1. Google Research38

    Google 通过线性弹性缓存优化云经济性

    Google 提出线性弹性缓存(linear elastic caching),将缓存逐出建模为“滑雪租赁问题”,利用轻量级机器学习动态调整缓存生命周期。在 Google Spanner 生产环境集成数月的测试中,该方法使内存占用减少 15.5%,总拥有成本(TCO)降低约 5%,实际 I/O 成本影响仅 0.5%。

4月22日周三
3月25日周三
  1. Google Research45

    TurboQuant:通过极致压缩重新定义 AI 效率

    Google Research 推出向量压缩算法 TurboQuant,结合 PolarQuant 极坐标量化与 1-bit QJL 残差纠错技术,在零精度损失的前提下大幅降低 KV cache 内存开销。该算法在 Gemma 和 Mistral 等开源大语言模型上通过了 LongBench、RULER 等长上下文基准评测,在显著压缩 KV 内存占用的同时优化了向量检索效率。