跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 21–31 条 · 共 31 条
7月15日周三
  1. Hugging Face Blog80

    Thinking Machines 推出开源全模态大模型 Inkling 与 Inkling-Small

    Thinking Machines Lab 在 Hugging Face 上线开源全模态模型 Inkling 及小尺寸版本 Inkling-Small,原生支持文本、图像和音频输入并具备 1M 上下文窗口。

    推荐理由:该模型给出了万亿参数原生全模态与长上下文的开源落地范式,读者可据此参考其混合注意力架构与量化部署成本。

7月8日周三
  1. Hugging Face Blog62

    Hugging Face transformers 后端在 vLLM 中达到原生速度

    Hugging Face 宣布 vLLM 的 transformers 建模后端在许多 LLM 架构上已达到甚至超过 vLLM 手写原生实现的吞吐。在 Qwen3-4B 单卡、Qwen3-32B 张量并行、Qwen3-235B-A22B-FP8 MoE 三种配置的对比中,该后端均追平或超过原生实现。

    推荐理由:Hugging Face 给出 transformers 后端在 vLLM 中追平原生实现的实测与改动方式,便于判断模型作者是否还需自写 vLLM 实现。

7月7日周二
  1. Berkeley AI Research68

    伯克利学者探讨当智能趋近免费时,数据系统如何为 Agent 全面重构

    UC Berkeley 研究团队发文指出,随着大模型推理成本大幅下降,数据系统正面临面向 Agent、由 Agent 组成以及由 Agent 合成三大重构方向。多智能体高频探索需要数据系统支持子查询复用与近似查询等主动反馈机制,海量智能体协作亟需超越文件检索的结构化记忆与并发一致性控制,且智能体已具备针对特定负载直接端到端合成定制化数据系统的能力。

    推荐理由:文章系统梳理了推理成本下降对底层架构的冲击,读者可借此理解多智能体环境下数据系统的重构逻辑。

  2. Hugging Face Blog65

    SkyPilot 原生支持 Hugging Face Storage:跨云调度 AI 算力免出网流量费

    SkyPilot 联合 Hugging Face 推出对 Hugging Face Storage 的原生支持,允许通过 hf:// 统一在任务中挂载 Hub 模型、数据集与读写存储桶。Hugging Face 存储免收出网流量费与 CDN 费用,配合 Xet 分块去重与 FUSE 惰性加载,计算任务在任意云端拉取数据均无需支付跨云传输税,大幅减少多云调度 GPU 时的等待与带宽开销。

    推荐理由:原文给出了多云训练免出网流量费的存储挂载配置与实测数据,为多云调度的算力团队降低了跨云数据传输成本。

5月6日周三
  1. Google DeepMind64

    Google DeepMind 展示 AlphaEvolve 一年成果:从 DNA 测序到 TPU 设计

    Google DeepMind 汇总了 Gemini 驱动的编码智能体 AlphaEvolve 发布一年来的落地成果。它帮助 DeepConsensus 将变异检测错误降低 30%,把电网 AC Optimal Power Flow 的可行解比例从 14% 提升到 88%以上,并在量子模拟中给出误差低 10 倍的量子线路。

    推荐理由:一年来 AlphaEvolve 在基因测序、电网、TPU 与量子模拟等场景的落地数据,展示了编码智能体从演示走向基础设施的路径。

4月27日周一
3月31日周二
  1. Mistral AI65

    Mistral AI 分享 Spaces CLI 设计实践:如何让命令行工具兼顾人类与智能体

    Mistral AI 总结了内部平台工具 Spaces CLI 的开发经验,提出了一套同时适配人类开发者与编码智能体的命令行设计原则。团队提出交互式输入均需提供对应的命令行参数与非交互模式默认值,通过 context.json 和 AGENTS.md 自动导出结构化上下文与执行规则,并消除工作目录等隐式状态依赖,使智能体能自主完成从脚手架创建到部署的全流程。

    推荐理由:文章总结了让命令行工具兼顾人类交互与智能体调用的五条工程规范,为开发者构建面向智能体的开发工具提供了可迁移的落地参考。

6月4日周三
  1. Mistral AI60

    Mistral AI 推出企业级 AI 编码助手 Mistral Code

    Mistral AI 正式推出面向企业研发团队的 AI 编码助手 Mistral Code,已在 JetBrains 和 VSCode 开放内测。该产品基于开源项目 Continue 构建,由 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四款模型驱动,支持云端或本地隔离环境部署。

    推荐理由:产品采用单一厂商全栈交付模式并支持本地私有化部署,为受合规监管的企业提供了可自主微调的端到端编码方案。

5月7日周三
  1. Mistral AI63

    Mistral 推出 Le Chat Enterprise,由 Mistral Medium 3 驱动

    Mistral 发布 Le Chat Enterprise,一款由全新 Mistral Medium 3 模型驱动的企业 AI 助手,包含企业搜索、Agent 构建器、数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内逐步上线。

    推荐理由:Mistral 把企业搜索、Agent 构建与混合部署打包进同一订阅,可观察欧洲厂商做企业 AI 的路线选择。

  2. Mistral AI76

    Mistral AI 发布 Mistral Medium 3 模型

    Mistral AI 正式推出企业级模型 Mistral Medium 3,主打前沿性能与高性价比。该模型在综合基准测试中达到 Claude Sonnet 3.7 90% 以上的表现,并在编码与理科任务中超越 Llama 4 Maverick,API 定价为每 1M token 输入 $0.4、输出 $2。

    推荐理由:原文对比了同代前沿模型的定价与基准表现,并给出了本地四卡及云端部署门槛,适合评估企业级替代方案的成本效益。