热点事件持续更新
Together AI 转向 Together Compiler 推理优化
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
2026 年 11 月 16 日,Together AI 在官方博客宣布放弃 megakernel 路线,转向 Together Compiler 推理优化框架。据该报道,新方案用 CUDA Graphs 叠加 PDL,并默认采用 Torch Inductor kernel,在不编写任何 kernel 的情况下恢复了 megakernel 98% 的性能;再通过 multi-kernels 与 agent loops,最高可超越旧 megakernel 1.7 倍,Llama 1B 在 H100 上突破 1100 TPS。此前该事件以 Together AI 发布 Together Compiler 推理优化框架为标题,但现有报道未提供更早的发布细节与时间,故无法对比前后数字或说法差异。目前进展为官方给出放弃 megakernel、改用编译器方案的性能数据。
AI 根据报道生成 · 39 分钟前更新
报道时间线
沿着报道,了解事件的不同侧面。
11月16日
- Together AI 官方博客Together AI 放弃 megakernel 转向 Together Compiler:Llama 1B 在 H100 上超 1100 TPS
Together AI 用 CUDA Graphs 加 PDL 叠加默认 Torch Inductor kernel,在不写任何 kernel 的情况下恢复了 megakernel 98% 的性能,并通过 multi-kernels 与 agent loops 将旧 megakernel 最高超越 1.7 倍,Llama 1B 在 H100 上突破 1100 TPS。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。