vLLM 推出 push 模式 KV 传输，分离式推理 TTFT 最高提升 3 倍

vLLM 新增 push-based NIXL connector，将 prefill 后的 KV 传输协调与准备工作移出关键路径，在 AWS EFA 连接的 P5en 1P1D 部署上运行 Qwen3-32B，TTFT 最高提升 3 倍、TPOT 提升最多 30%。该功能先在 AWS Trainium 集群上构建验证，再以与加速器无关的形式贡献给 vLLM，GPU 集群测试显示收益同样成立。