http://blog.kkkzoz.top/tags/vllm/ Recent content in VLLM on KKKZOZ's Blog http://blog.kkkzoz.top/images/papermod-cover.png http://blog.kkkzoz.top/images/papermod-cover.png Hugo -- 0.147.0 en Tue, 11 Aug 2026 14:08:08 +0800 http://blog.kkkzoz.top/posts/learning/ml-compilers/vllm--torch.compile/ Tue, 11 Aug 2026 00:00:00 +0000 http://blog.kkkzoz.top/posts/learning/ml-compilers/vllm--torch.compile/ <p>vLLM 中同时存在多条与 FX 和 <code>torch.compile</code> 相关的执行路径，它们虽然共享 PyTorch 的 graph infrastructure，但解决的问题并不相同。理解这些路径的边界，是区分“模型结构改写”“Inductor 编译优化”和“CUDA Graph replay”的前提。</p> <p>进入正文前，可以先区分三类用法：</p> <ul> <li><strong>HF Transformers modeling backend</strong>：直接使用 <code>fx.Tracer</code> 分析 Hugging Face <code>forward</code>，识别可融合结构并通过 AST 改写模型源码</li> <li><strong>vLLM 自定义 <code>torch.compile</code> 主路径</strong>：由 Dynamo 产生完整 FX <code>GraphModule</code>，再由 vLLM 控制 graph partition、shape specialization、custom passes、cache 和 CUDA Graph integration</li> <li><strong>普通 <code>@torch.compile</code> 小函数</strong>：FX 主要作为 Dynamo、AOTAutograd 和 Inductor 的内部 IR，vLLM 通常不直接处理这些 graph</li> </ul> <p>Piecewise CUDA Graph 不是第四条独立的 tracing 路径，而是建立在 vLLM Piecewise Compilation 之上的运行时优化：编译阶段先拆分并编译 graph regions，随后只对兼容区域执行 CUDA Graph capture/replay。</p> <blockquote> <p>这篇文章的核心问题是：vLLM 如何围绕标准 <code>torch.compile</code> 增加一层 LLM-serving-aware 的 graph processing、compilation policy 和 runtime integration。</p>