跳到正文
原文
量子位· 一水·· 4 小时前AI 评分22

岩山科技联合港科大、CMU 开源 EdgeRock-4B:KV Cache 减少 99.1%,单卡吞吐提升 6.42 倍

KV Cache砍掉99%,单卡吞吐飙6倍,港科CMU联手岩山科技开源新模型

AI 导读

岩山科技旗下岩芯矩阵联合港科大、CMU 等高校开源 EdgeRock-4B,在 256K 上下文下 KV Cache 固定为 72MiB,相比源模型 Qwen3.5-4B 减少 99.1%。

来源:量子位 · qbitai.com