英伟达nGPT重塑Transformer，AI训练速度暴增20倍！文本越长，加速越快

NVIDIA通过开发nGPT取得了在人工智能领域的重大突破，这是一种革新Transformer模型的新型神经网络架构。这一进步之所以引人注目，是因为它能够将语言模型的训练速度提高多达20倍，而不会牺牲准确性。nGPT特别引人关注的地方在于其超球面表示学习，以及它在处理更长文本输入时的效率提升。通过将向量归一化为单位范数，并使用位移进行输出预测，nGPT不仅减少了训练步骤的数量，还实现了更快的收敛速度，并在下游任务中表现出更好的性能。这一突破可能会对需要快速模型训练和部署的人工智能应用产生重大影响。如果您对人工智能和语言处理的前沿感兴趣，那么NVIDIA的nGPT架构是您值得探索的一项发展。- 英伟达团队提出了全新神经网络架构——归一化Transformer（nGPT），可以将LLM训练速度提升至高20倍，同时保持原有精度。 - nGPT中的所有向量都被归一化为单位范数，通过「位移」来贡献最终的输出预测。 - nGPT在不同上下文长度下，训练速度提高4-20倍。 - nGPT的嵌入矩阵已经归一化，可以更准确地捕捉到句子中词与词之间的关系。 - nGPT通过对参数进行归一化和调整，提高了训练效率和学习能力。 - nGPT在实验中展现了10倍的加速，并在下游任务中表现出更好的性能。 - GPT的嵌入具有更高的条件数，可能导致计算问题。 - GPT模型的注意力矩阵呈现更高的条件数，可能减少了学习容量。