本文提出了一种简洁的深度多保真模型 (DMFM) 和物理驱动的深度多保真模型 (PD-DMFM)，用于温度场预测，利用低保真度的数据来提高模型性能并减少对高保真度数据的依赖。通过对两个温度场预测问题的验证，证明了该方法可以显着降低模型对高保真度数据的依赖性。

Jan, 2023

GFlowNets 是一种概率模型，通过学习随机策略来生成组合结构，如分子图。我们提出了一种名为 LSL-GFN 的新颖架构，通过学习将温度作为输入来加速训练 temperature-conditional GFlowNets，并在多个生物化学任务中表现出了更好的性能。

Oct, 2023

通过分析代码标记的丢失分布，我们发现代码标记可以分为两类：难以预测的具有挑战性的标记和容易推测的自信标记。基于以上发现，我们提出了一种简单而有效的方法：自适应温度采样（AdapT sampling），通过在解码不同的标记时动态调整温度系数。我们将难以预测的标记采样时应用较高的温度，从而使 LLMs 能够探索多样的选择。我们在不同规模的 LLMs 上应用 AdapT 采样，并在两个常用数据集上进行评估，结果表明 AdapT 采样明显优于最先进的解码策略。

Sep, 2023

本研究探讨了采用 softmax tempering 技术来训练神经机器翻译模型，在亚洲语言 Treebank 数据集和 WMT 2019 英德翻译任务中实验证明该技术显著提高翻译质量，同时使贪心搜索与 Beam Search 解码同为一体，从而实现高速翻译。此外，我们还分析了 softmax entropy 和梯度对 NMT 模型内部行为的影响。

Sep, 2020

使用具有预定固定上下文、模型和提示的叙述生成任务，我们对不同温度值下大型语言模型（LLMs）的输出进行实证分析，以检验温度参数是否能够调节创造力，发现温度与新颖性弱相关、与不连贯性中度相关，但与连贯性和典型性无关；然而，温度对创造力的影响比 “创造力参数” 主张所表达的更微妙和弱，总体结果表明，随着温度升高，LLM 生成的输出略微更为新颖。最后，我们讨论了一些想法，以实现更为可控的 LLM 创造力，而不是仅仅依靠改变温度参数的机会性。

May, 2024

本文提出了一种用分布鲁棒优化方法系统地优化具有个性化温度对比损失的自监督学习的方法，该方法基于数据分布特点，对超参数进行了自动调整，并在实验中表现出优于已有方法的性能。

May, 2023

该论文提出了 TempBalance，一种简单而有效的逐层学习率方法，基于 Heavy-Tailed Self-Regularization (HT-SR) 理论，并展示了使用 HT-SR 相关指标来指导模型训练中的温度调度和平衡，从而改善在测试中的性能。实验证明 TempBalance 显著优于普通的 SGD 和经过精心调节的谱范数正则化，同时也超过了一些最先进的优化器和学习率调度器。

Dec, 2023

通过温度树（T2）提示和粒子群算法优化，提高大型语言模型（LLMs）的推理能力，并动态调整搜索参数以提高决策精度。实验证实，T2oT 方法在单一解精度、多解生成和文本生成质量方面均得到了改进，而固定搜索深度配合 T2oT 的自适应能力提供了一种更可靠、更多样的问题解决策略。该论文突出了优化基础语言模型算法交互的潜力，并以 24 点游戏和创作写作任务为例进行了说明。

May, 2024

我们提出了一个适用于大规模语言模型（LLM）的校准方法 —— 温度计 (THERMOMETER)，该方法能够通过学习辅助模型来校准 LLM，具有高效计算、保持 LLM 准确性以及为新任务生成更好校准响应的特点，经过多个基准测试的广泛实证评估证明该方法的有效性。

Feb, 2024

利用物理感知神经网络和 ConvLSTM 结构，我们提出了一种用于金属增材制造温度场预测的框架，可在实时预测和在线控制中应用，验证结果表明其在不同场景中具有灵活性和准确性。

Jan, 2024