美团 SLM 生成式高并发推理引擎:延迟约束下吞吐较 SGLang 提升 10 倍
美团技术团队为搜推场景的 SLM(0.5~1B)有界生成负载重构推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8,在平均端到端时延低于 20ms 下使 Prefill-Only 有效 MFU 达 67%、吞吐较 SGLang 提升 10 倍。
美团技术团队为搜推场景的 SLM(0.5~1B)有界生成负载重构推理引擎,以静态 DAG 组织完整业务请求,结合 AOTInductor 编译、Packed Prefill、请求内 K/V 共享与选择性 FP8,在平均端到端时延低于 20ms 下使 Prefill-Only 有效 MFU 达 67%、吞吐较 SGLang 提升 10 倍。
腾讯低调上线绿泡泡短剧,主打免费观看,设「AI 剧」「真人剧」等栏目,剧集间插播广告,并加入「朋友在看」等社交推荐。豆包工作上线数据导入同步能力,可一键迁移 ChatGPT、Claude Code、Trae Work 的技能、历史对话与工作记忆。特斯拉官宣第二代 Roadster 将于美国时间 10 月 15 日在 SpaceX 测试基地线上直播演示。
豆包APP灰度上线生活缴费能力,用户可通过语音或打字发起水、电、燃气缴费指令,支付方式包括银行卡和抖音零钱,实测上海可缴水费和燃气费、北京仅水费、广州仅电费。美团小团2.0、AI版支付宝、千问也已布局对话式支付,业内认为AI支付距大规模普及尚需时日。
美团在 MTGR 基础上提出统一推荐基座大模型 MTFM,首次实现外卖多个主要业务的统一精排模型,各业务订单量提升 2.06%~6.68%,在线推理成本降低 24%。MTFM 以异构 Tokenizer 与动态掩码实现多场景特征免对齐,通过混合注意力与 Target Scale-Up 提升 Scaling 能力,相关工作已被 KDD 2026 收录。
美团正式上线全场景 AI Agent 平台 CatPaw,搭载本月开源的 LongCat 2.0(总参数 1.6T、平均激活约 48B、原生支持 1M 上下文)。CatPaw 提供开箱即用的 AI 智能工作台与 Managed Agents 企业级托管能力,支持移动/PC/云端多端协作与 7×24 小时运行。该平台已在美团内部覆盖 9 万员工、搭建 3 万个 Agent。