Together AI 官方博客·· 1 天前AI 评分48
Together AI 放弃 megakernel 转向 Together Compiler:Llama 1B 在 H100 上超 1100 TPS
Last year we built megakernels. This year we deleted them: The road to Together Compiler
AI 导读
Together AI 用 CUDA Graphs 加 PDL 叠加默认 Torch Inductor kernel,在不写任何 kernel 的情况下恢复了 megakernel 98% 的性能,并通过 multi-kernels 与 agent loops 将旧 megakernel 最高超越 1.7 倍,Llama 1B 在 H100 上突破 1100 TPS。
来源:Together AI 官方博客 · together.ai