标定泛化差距
本文研究了神经网络模型的预测不确定性及其校准问题，并发现不使用卷积层的最新模型的校准性能最好，模型大小和预训练量并不能完全解释这些差异，表明模型架构是影响校准性能的主要因素。
Jun, 2021
本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。
Jun, 2023
机器学习模型的校准至关重要，本文重新评估了最近文献中校准指标的报告情况，并提出了一种基于广义指标的校准度量选择和检测方法以及一种新的可视化校准和模型估计广义误差的方法。
Jun, 2024
深度神经网络在各种机器学习任务中的应用越来越多，但随着这些模型复杂性的增加，尽管预测准确性得到了提高，但它们通常面临校准问题。我们的研究利用神经架构搜索（NAS）搜索空间，为深入探索校准特性提供了一个详尽的模型架构空间，并特别创建一个模型校准数据集，评估了 117,702 个唯一神经网络在常用的 NATS-Bench 搜索空间中的 90 个基于 bin 的校准度量和 12 个附加校准度量。同时，本研究探索了 NAS 中的校准问题，为进一步研究 NAS 校准提供了可能性。根据我们所了解，我们的研究代表了对校准特性进行的首次大规模调查，也是在 NAS 中对校准问题进行的首要研究。
Aug, 2023
研究深度神经网络的泛化差距问题，发现模型不一致和不稳定性是影响泛化差距的关键因素，通过算法降低不一致性可以提高性能，并为现有方法（如协同蒸馏和集成学习）提供了理论基础。
May, 2023
该论文研究了大批量训练中的一般化差距现象，并提出一种名为 “Ghost Batch Normalization” 的新算法，可显著减少一般化差距而不增加权重更新数量。
May, 2017
该论文研究了神经网络中置信度校准的问题，并提供了校准方法的经验比较，分析了可视化和标量测量评估模型置信度校准的不同方法，并对基于后处理或对训练进行更改的现代校准技术进行了评估，实验结果覆盖了各种数据集和模型，比较了不同标准下的校准方法。
Mar, 2023
提出一种新颖的框架，其中引入了可微替代预期校准误差 (DECE)，以直接优化校准质量，并采用 DECE 进行元学习框架，实现了对模型超参数的验证集校准优化。该框架在解决模型校准方面具有开创性，并在与业界最新校准方法的对比实验中取得了竞争力的表现。
Jun, 2021