May, 2024
温度是大语言模型的创造力参数吗？
Is Temperature the Creativity Parameter of Large Language Models?
Max Peeperkorn, Tom Kouwenhoven, Dan Brown, Anna Jordanous
TL;DR使用具有预定固定上下文、模型和提示的叙述生成任务，我们对不同温度值下大型语言模型（LLMs）的输出进行实证分析，以检验温度参数是否能够调节创造力，发现温度与新颖性弱相关、与不连贯性中度相关，但与连贯性和典型性无关；然而，温度对创造力的影响比 “创造力参数” 主张所表达的更微妙和弱，总体结果表明，随着温度升高，LLM 生成的输出略微更为新颖。最后，我们讨论了一些想法，以实现更为可控的 LLM 创造力，而不是仅仅依靠改变温度参数的机会性。