推理参数

本文用于整理大模型推理时常见生成参数的工程含义。

待展开内容：

• temperature
• top_p
• top_k
• max_tokens / max_new_tokens
• stop / stop_token_ids
• presence_penalty / frequency_penalty
• repetition_penalty
• seed
• greedy、sampling、beam search 的区别
• 不同任务的参数建议
• 参数和评估、压测、复现的关系