应用介绍
研究团队的等成本分析表明，注意力机制随生成长度呈二次方增长的特性，加上键值内存相对于模型参数的失衡扩展趋势，共同使得人们更加倾向于扩大模型规模、而非增加生成长度。这种失衡现象在混合专家架构中被进一步加剧，正因此这种架构虽然能够降低激活参数量，但却未能缓解注意力计算的高开销现状。
研究团队的等成本分析表明，注意力机制随生成长度呈二次方增长的特性，加上键值内存相对于模型参数的失衡扩展趋势，共同使得人们更加倾向于扩大模型规模、而非增加生成长度。这种失衡现象在混合专家架构中被进一步加剧，正因此这种架构虽然能够降低激活参数量，但却未能缓解注意力计算的高开销现状。
