被严重低估的 Temperature：0.0 与 0.7 之间，隔着一整个输出世界

很多人把 temperature 简单理解为"创造力开关"，这是个危险的误解。

如果你打开任意一个大模型 API 的文档，temperature 参数旁边通常会写着："控制输出的随机性。值越低越确定，值越高越有创意。"

这个解释没错，但远远不够。它掩盖了 temperature 背后真正重要的东西——概率分布的锐度（sharpness），以及这种锐度如何在不同任务场景下产生截然不同的后果。

一、Temperature 的数学本质：不是"创造力"，是"概率锐度"

让我们从 softmax 说起。

大模型在生成每一个 token 时，本质上是在一个巨大的词汇表（比如 50,000 个词）上输出一个概率分布。这个分布告诉我们："下一个词是'的'的概率是 0.25，是'苹果'的概率是 0.03，是'量子'的概率是 0.001……"

softmax 函数长这样：

$$P(x_i) = \frac{e^{z_i / T}}{\sum_j e^{z_j / T}}$$

其中 T 就是 temperature。

关键洞察在这里：

• 当 T → 0 时，指数函数被极度放大，概率分布会变得极其尖锐——原本概率最高的那个词会几乎吃掉所有概率质量，其他词的概率被压缩到接近零。结果就是贪婪解码（greedy decoding），每次都选概率最高的词。
• 当 T = 1 时，就是原始的 softmax 输出，保留模型"自然"的不确定性。
• 当 T > 1 时，分布被"熨平"了，原本概率很低的词也获得了出头的机会。

所以 temperature 的本质是：它控制的是概率分布的"锐度"或"平坦度"，而不是某种神秘的"创造力阀门"。

二、Temperature = 0：平庸的正确，还是正确的平庸？

很多开发者在做代码生成、数学推理、结构化数据提取时，喜欢把 temperature 设为 0。理由是："我要确定性输出，不要随机性。"

这个直觉对了一半，错了一半。

对的方面

代码和数学确实需要确定性。temperature=0 能保证每次输入相同提示词时，输出逐字相同。这对于自动化脚本、CI/CD 流水线、单元测试生成等场景是必要的。

错的方面

temperature=0 输出的不是"最正确的答案"，而是模型认为概率最高的答案。这两者之间有微妙但致命的差别：

• 概率最高 ≠ 质量最高。模型可能因为在训练数据中见过太多平庸但安全的表达，导致这些表达的概率被过度推高。temperature=0 会忠实地复现这种平庸。
• 局部最优陷阱。贪婪解码每一步都选当前概率最高的词，但语言生成是一个序列决策问题。当前概率最高的词，未必能导向全局最优的句子。这就像下棋时只看眼前一步——temperature=0 是一个"短视的棋手"。

一个反直觉的事实：在某些开放式写作任务中，temperature=0 的输出不仅乏味，而且可能因为过度追求"安全"而产生更多的重复和冗余——模型不断选择那些概率高但信息量低的填充词。

三、Temperature = 0.7：创造力的代价是幻觉

把 temperature 调到 0.7（OpenAI 的默认值），概率分布被适度平滑。那些原本排名 2、3、4 的候选词现在有了公平竞争的机会。

这带来了两个结果：

1. 输出的"语义多样性"显著提升

同样的提示词，每次运行可能得到不同角度的回答。对于头脑风暴、营销文案、故事创作，这是 feature，不是 bug。

2. 事实性幻觉的风险被放大

当 temperature 升高时，一个原本概率只有 0.001 的 token（比如一个错误的人名、一个编造的统计数据、一个不合语法的代码片段）可能被选中。一旦这个错误 token 进入上下文，模型后续会努力自洽地圆谎，于是幻觉就诞生了。

这不是说 temperature 高就一定会幻觉，而是说：高 temperature 降低了模型对"事实锚点"的坚持程度。它变得更像一个即兴发挥的脱口秀演员，而不是一个严谨的档案管理员。

四、场景化策略：代码与文案，需要不同的"概率锐度"

理解了 temperature 的本质后，我们就可以制定更精细的策略，而不是一刀切。

场景 A：代码生成 → 低 Temperature（0.0 - 0.2）

代码是形式语言，语法错误会导致直接失败。temperature=0 或接近 0 是合理选择。

但这里有一个进阶技巧：不要永远用 0。如果你在做"代码补全"（比如 GitHub Copilot 的场景），稍微提高到 0.1-0.2，有时能让模型跳出训练数据中最常见的 boilerplate，给出更简洁或更符合当前项目风格的代码。

场景 B：创意文案 → 中-高 Temperature（0.7 - 1.0）

营销标题、品牌故事、社交媒体内容需要意外感。高 temperature 允许模型探索概率分布的长尾区域，那些"不常见但惊艳"的表达往往藏在这里。

建议做法：先用高 temperature 生成 5-10 个候选，然后人工筛选。不要直接拿第一个结果就用。

场景 C：Few-shot 学习 → 反直觉地，有时需要"升温"

这是文章开头提到的那个反直觉点。

在 few-shot 提示中，你给了模型几个示例，希望它模仿格式完成任务。但如果示例的格式过于一致（比如三个示例都是"问题：X 答案：Y"的固定模板），temperature=0 下的模型会过度拟合到示例的表面形式，而不是理解背后的任务逻辑。

此时，把 temperature 从 0 提高到 0.3-0.5，反而能让模型在保持任务正确性的同时，在格式层面产生有益的变异。它不再死板地复述"答案："这个前缀，而是可能用更自然的表达方式呈现结果。

这背后的原理是：高 temperature 增加了模型对"格式 token"概率分布的探索，打破了 few-shot 示例带来的路径依赖。

五、一个实用的决策框架

与其记住"代码用 0，文案用 0.7"这样的教条，不如用这个框架：

六、结语：Temperature 是杠杆，不是魔法

Temperature 可能是大模型 API 中最被低估的参数。它不像 system prompt 那样显眼，也不像 top-p 那样常被讨论，但它直接决定了模型在"安全但平庸"和"惊艳但危险"之间的落点。

理解它的数学本质——概率分布的锐度——能帮助你做出更精准的工程决策。0.0 和 0.7 之间，隔着的不是"有没有创造力"这么简单，而是模型在每一步选择时，愿意给"非主流答案"多少机会。

而这个机会，有时候正是好答案和坏答案的分水岭。

---

下次调 API 时，别再把 temperature 当作一个"随便设设"的参数了。它值得你的认真对待。