跳到正文
热点事件持续更新

Together AI 转向 Together Compiler 推理优化

1 篇报道1 个报道来源1 天前更新

先了解这件事

AI 综述

2026 年 11 月 16 日,Together AI 在官方博客宣布放弃 megakernel 路线,转向 Together Compiler 推理优化框架。据该报道,新方案用 CUDA Graphs 叠加 PDL,并默认采用 Torch Inductor kernel,在不编写任何 kernel 的情况下恢复了 megakernel 98% 的性能;再通过 multi-kernels 与 agent loops,最高可超越旧 megakernel 1.7 倍,Llama 1B 在 H100 上突破 1100 TPS。此前该事件以 Together AI 发布 Together Compiler 推理优化框架为标题,但现有报道未提供更早的发布细节与时间,故无法对比前后数字或说法差异。目前进展为官方给出放弃 megakernel、改用编译器方案的性能数据。

AI 根据报道生成 · 39 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月16日
  1. Together AI 官方博客
    Together AI 放弃 megakernel 转向 Together Compiler:Llama 1B 在 H100 上超 1100 TPS

    Together AI 用 CUDA Graphs 加 PDL 叠加默认 Torch Inductor kernel,在不写任何 kernel 的情况下恢复了 megakernel 98% 的性能,并通过 multi-kernels 与 agent loops 将旧 megakernel 最高超越 1.7 倍,Llama 1B 在 H100 上突破 1100 TPS。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。