预训练

本文用于解释大语言模型如何通过大规模文本数据学习通用语言能力。

待展开内容：

• 自监督学习
• next token prediction
• 数据清洗和去重
• tokenizer 与训练语料
• 训练 loss
• scaling law 的直觉
• 预训练学到什么
• 预训练和监督微调、强化学习的区别
• 数据污染和评估泄漏