Hugging Face Blog·· 2026-07-08精选AI 评分62
Hugging Face transformers 后端在 vLLM 中达到原生速度
Native-speed vLLM transformers modeling backend
AI 导读
Hugging Face 宣布 vLLM 的 transformers 建模后端在许多 LLM 架构上已达到甚至超过 vLLM 手写原生实现的吞吐。在 Qwen3-4B 单卡、Qwen3-32B 张量并行、Qwen3-235B-A22B-FP8 MoE 三种配置的对比中，该后端均追平或超过原生实现。
推荐理由
Hugging Face 给出 transformers 后端在 vLLM 中追平原生实现的实测与改动方式，便于判断模型作者是否还需自写 vLLM 实现。
来源：Hugging Face Blog · huggingface.co