Mistral AI·2026-01-22 00:00· 2026-01-22AI 评分52

Mistral AI 复盘 vLLM 内存泄漏排查全过程

Heaps do lie: debugging a memory leak in vLLM.

AI 导读

Mistral AI 在使用 vLLM 部署模型进行 Prefill 与 Decode 分离式服务测试时遭遇内存泄漏，最终定位到通信库 UCX 拦截系统调用并积压内存的问题。

来源：Mistral AI · mistral.ai