通过在TorchAO中使用MXFP8 MoE训练原语，Llama4 Scout的训练速度实现了超过30.2%的提升，同时收敛性与bfloat16相当。这一成果是在GB200集群上进行的，显示出MXFP8技术在模型训练中的潜力，达到了理论速度的约81%。该研究为大规模模型训练提供了新的思路，尤其是在资源受限的环境中，优化训练效率具有重要意义。...