Netflix 如何自建 LLM 推理服务：从 TensorRT-LLM 转向 vLLM

Netflix 自建 LLM 推理全栈，将 vLLM 选为默认推理引擎，替代原先基于 TensorRT-LLM 的方案，理由是自定义模型加载更快、支持自定义解码逻辑且更易调试。平台通过 Triton 的 vLLM backend 打包模型，使模型与前端独立演进，并同时提供 gRPC 与 OpenAI 兼容 API 两种调用入口。