2 篇文档带有标签「Token」

从 token、logits、概率分布和 next token prediction 理解大语言模型的基本工作方式。

大模型工程化中 Tokenizer 的作用、文件组成、常见算法和部署排障。