美团 SLM 生成式高并发推理引擎：延迟约束下吞吐较 SGLang 提升 10 倍

美团技术团队为搜推场景的 SLM（0.5~1B）有界生成负载重构推理引擎，以静态 DAG 组织完整业务请求，结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8，在平均端到端时延低于 20ms 下使 Prefill-Only 有效 MFU 达 67%、吞吐较 SGLang 提升 10 倍。