应用介绍
在 CIFAR-10 数据集上，在保证 94% 准确度的前提下，基于 A100 GPU，将训练速度记录从 3.3 秒提升至 2.6 秒。在 FineWeb（一项被称为 NanoGPT 竞速的竞赛任务）上的训练速度记录提升至 3.28 验证损失，提升了 1.35 倍。在扩展到 774M 个参数和 1.5B 亿个参数时，继续表现出了训练速度的提升。在 HellaSwag 上用 10 个 8xH100 小时将一个 1.5B 参数的 Transformer 训练到 GPT-2 XL 级别性能。而使用 AdamW 达到相同结果需要 13.3 小时。
