Mistral AI 复盘 vLLM 内存泄漏排查全过程
Mistral AI 在使用 vLLM 部署模型进行 Prefill 与 Decode 分离式服务测试时遭遇内存泄漏,最终定位到通信库 UCX 拦截系统调用并积压内存的问题。
Mistral AI 在使用 vLLM 部署模型进行 Prefill 与 Decode 分离式服务测试时遭遇内存泄漏,最终定位到通信库 UCX 拦截系统调用并积压内存的问题。
Mistral AI 推出企业级生产平台 Mistral AI Studio,旨在帮助企业打通从提示词开发到稳定生产的全流程闭环,目前已开放 Private Beta 申请。该平台包含可观测性与评测系统、基于 Temporal 构建的高容错 Agent Runtime 以及管理资产与权限的 AI Registry 三大模块,并支持混合云与私有化部署。
Mistral AI 正式推出 AI 算力基础设施服务 Mistral Compute,为企业与科研机构提供涵盖 GPU、编排调度、API 以及训练套件的私有集成技术栈,支持从裸机服务器到全托管 PaaS 的多种交付形态。
Mistral AI 正式推出面向企业研发团队的 AI 编码助手 Mistral Code,已在 JetBrains 和 VSCode 开放内测。该产品基于开源项目 Continue 构建,由 Codestral、Codestral Embed、Devstral 和 Mistral Medium 四款模型驱动,支持云端或本地隔离环境部署。
推荐理由:产品采用单一厂商全栈交付模式并支持本地私有化部署,为受合规监管的企业提供了可自主微调的端到端编码方案。
Mistral 发布 Le Chat Enterprise,一款由全新 Mistral Medium 3 模型驱动的企业 AI 助手,包含企业搜索、Agent 构建器、数据与工具连接器、文档库、自定义模型和混合部署等功能,全部功能将在未来两周内逐步上线。
推荐理由:Mistral 把企业搜索、Agent 构建与混合部署打包进同一订阅,可观察欧洲厂商做企业 AI 的路线选择。
Mistral AI 正式推出企业级模型 Mistral Medium 3,主打前沿性能与高性价比。该模型在综合基准测试中达到 Claude Sonnet 3.7 90% 以上的表现,并在编码与理科任务中超越 Llama 4 Maverick,API 定价为每 1M token 输入 $0.4、输出 $2。
推荐理由:原文对比了同代前沿模型的定价与基准表现,并给出了本地四卡及云端部署门槛,适合评估企业级替代方案的成本效益。