Google DeepMind 推出 Decoupled DiLoCo：跨数据中心分布式训练新架构

Google DeepMind 发布 Decoupled DiLoCo 分布式训练架构，将训练任务拆分为异步通信的"计算孤岛"，在硬件故障下仍能持续训练。该架构用 2-5 Gbps 广域网络在四个美国区域训练了 120 亿参数模型，速度比传统同步方法快 20 倍以上，并支持 TPU v6e 与 TPU v5p 混合训练。