本文提出使用温度缩放法校准模型不确定性，进而减少不确定性的误差，通过对 CNN 架构的实验结果表明，该方法有效地减小了 UCE，提高了模型可靠性并不影响模型的准确性。

Sep, 2019

通过研究生成式图像建模、视频建模、多模式图像与文本模型和数学问题求解等四个领域，我们发现交叉熵损失的实证缩放定律，指出自回归变压器在性能上平滑提高，其最佳模型大小还受到计算预算影响，同时也寻找到了特定领域的进一步扩展规律。这些结果加强了缩放定律对于神经网络性能以及下游任务的重要影响。

Oct, 2020

该研究论文提出了一种双分支温度缩放校准模型(Dual-TS)，同时考虑了不同类别的温度参数的多样性和少数类别中稀有样本的温度参数的非通用性，并提出了新的校准评估度量Esbin-ECE。实验证明，该模型在传统ECE和Esbin-ECE指标中均达到了最先进水平。

Aug, 2023

在面对领域转移时，传统的神经网络鲁棒性研究主要关注提高模型准确性，而忽视了可靠的人工智能系统对校准性能的需求。本文提出了一种新的温度调节策略，基于样本一致性在风格和内容上的考量来提高多领域环境下的校准性能，实验证明在各种数据集上，我们的策略在不影响准确性的情况下构建出卓越的校准性能，可以直接应用于各种可信赖的人工智能系统。

Feb, 2024

通过对已建立的文本到图像扩散模型进行经验分析，我们研究了模型规模如何影响不同采样步数下的采样效率，并发现了一个意外的趋势：在给定推理预算的情况下，较小的模型经常在生成高质量结果方面胜过较大的等价物。此外，我们通过应用各种扩散采样器，探索不同的下游任务，评估后处理模型，并与训练计算相比较，展示了这些发现的泛化能力，为LDM扩展策略的发展开辟了新的途径，该策略可以在有限的推理预算内提高生成能力。

Apr, 2024

本文提出了一个基于约束分布稳健优化（DRO）的有稳健性损失下的小而通用的温度预测网络（TempNet）的学习框架，并给出了相应的温度参数的定义和训练方法，实验证明TempNet可以显著改善现有解决方案或模型的性能。

Apr, 2024

在非线性模型中，我们提出了一种基于模拟推理和分数网络的方法，利用多个观测值的共享信息来更好地推断模型的参数，并在各种数值实验中证明了其在数值稳定性和计算成本方面的优越性。

Apr, 2024

介绍了一种动态温度知识蒸馏（DTKD）方法，通过量化模型输出分布的平滑度来为教师和学生模型分别确定样本特定的温度，从而在知识传递过程中提高性能。在CIFAR-100和ImageNet-2012上的实验证明，DTKD在目标类和非目标类知识蒸馏方案中表现出较高的鲁棒性。

Apr, 2024

通过扩大比例或超分辨率，为决策者提供关于气候模型输出的气候变化潜在风险和影响的详细高分辨率信息。机器学习算法在下降尺度方面表现出高效和准确的方式。本研究展示了一种生成式扩大、基于扩散的方法，能够提供精确的下降尺度结果。相比标准的U-Net，在精细尺度上，扩散式方法具有更高的准确性，如频谱分解所示。此外，生成式方法还为用户提供了可用于风险评估的概率分布。该研究突出了扩散式下降尺度技术在提供可靠和详细的气候预测方面的潜力。

Apr, 2024

本研究解决了强化学习反馈后，语言模型校准显著下降的问题。提出了一种新的后处理校准方法——自适应温度缩放（ATS），通过预测每个令牌预测的温度缩放参数，有效地提高了在三个自然语言评估基准中的校准水平，提升幅度超过10-50%，同时保持了强化学习后的性能改进。

Sep, 2024