跳到正文
原文
36氪·· 3 小时前AI 评分22

DeepSeek 全面开源内部推理框架 DeepInfer

DeepSeek:进一步将内部推理框架DeepInfer全面开源

AI 导读

DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,此前已开源一系列大模型、TileLang 编译工具及推理算子库。基于 DeepInfer,DeepSeek 已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务,未来新模型的推理代码及后续优化也将在此持续更新。

来源:36氪 · 36kr.com