困惑度与损失函数

本文用于解释语言模型训练和评估中常见的 loss、cross entropy 和 perplexity。

待展开内容：

• 交叉熵损失
• token-level loss
• perplexity 的定义和直觉
• loss 下降意味着什么
• 为什么低 perplexity 不等于好用
• 训练 loss、验证 loss 和过拟合
• 生成任务和对话任务中 perplexity 的局限
• 与准确率、win rate、人工评估的关系