36氪·· 3 小时前AI 评分22
DeepSeek 全面开源内部推理框架 DeepInfer
DeepSeek:进一步将内部推理框架DeepInfer全面开源
AI 导读
DeepSeek 宣布将内部推理框架 DeepInfer 全面开源,此前已开源一系列大模型、TileLang 编译工具及推理算子库。基于 DeepInfer,DeepSeek 已实现 DeepSeek V4.1 Flash 高吞吐、低延迟的大规模推理服务,未来新模型的推理代码及后续优化也将在此持续更新。
来源:36氪 · 36kr.com