LLM在训练过程中如何变得更连贯

作者通过训练一个1.63亿参数的GPT-2小型模型，展示了LLM从初始的"词符沙拉"到生成连贯文本的演变过程。在训练了约10亿词符后，模型开始产生有意义的句子，最终能够生成类似商业和自我激励内容的文本。