研究发现现有的分布距离度量方法，例如Frechetdistance或Maximum Mean Discrepancy，不能在分布偏移中可靠地估计模型性能；然而，分类器预测的置信度差异能够成功地估计分类器在各种转移情况下的性能变化，并且在几个现实和具有挑战性的分布转移中有效地减少预测误差近一半（46％），这一方法称为DoC(Difference of Confidences)。

Jul, 2021

本研究提出了一种框架来分析各种分布转移，并通过评估19个不同类别的方法，提供了当前最先进方法的整体分析。结果显示，与标准ERM基线相比，预训练和数据扩充（学习或启发式）在许多情况下都具有很大的优势，但不能很好地适应不同的数据集和转移。

Oct, 2021

通过培训算法来提高对于机器学习领域的可靠性，从而应对领域的变化，提高算法的性能，预测其表现并轻量级适应应用领域。

Mar, 2023

本篇论文提出了基于自监督学习思想的分布式鲁棒性解释，针对黑盒模型的应用，解释在数据分布变化时的可靠性，并通过广泛的实验验证了该方法对模型的鲁棒性提升。

Mar, 2023

通过使用模型DNA的概念，该论文引入了一种用于确定源模型是否服务于目标模型的模型鉴别方法，通过编码模型的训练数据和输入输出信息为一种紧凑而全面的表示，从而实现了模型鉴别的有效框架。

Aug, 2023

我们的研究探讨了分布偏移程度的更加微妙的评估设置，我们发现模型的稳健性在不同程度的分布偏移下可能相当脆弱和不一致，因此在从有限范围下的评估中得出结论时应更加谨慎。此外，我们观察到大规模预训练模型（如CLIP）对于新颖下游任务的微小分布偏移也很敏感。这表明，尽管预训练表示可以帮助提高内分布性能，但在某些OOD场景中可能对泛化性能产生最小甚至负面影响，如果不正确使用。鉴于这些发现，我们鼓励未来的研究在可能的情况下进行更广泛范围的评估。

Oct, 2023

构建一个强健的模型，能够在分布转变的情况下有效地泛化到测试样本，在医学影像领域仍然是一个重要的挑战。本研究通过对基于自然图像和文本数据进行预训练的视觉和语言基础模型进行fine-tuning后的鲁棒性评估，证明了基于基础模型的优越性。此外，研究还开发了一种新的冻结模型的贝叶斯不确定性估计方法，并将其用作衡量模型在超出分布数据上性能的指标，对于实际应用具有显著的益处。实验不仅揭示了在自然图像应用中常用的线上准确性和线上一致性指标的局限性，还强调了引入贝叶斯不确定性的潜力，特别是低不确定性预测通常具有更高的超出分布性能。

Nov, 2023

使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

May, 2024

基于观测数据的领域自适应问题，通过线性结构因果模型和表示学习方法，研究使用不变的协变量表示来解决概念漂移和改善目标预测的可行性，并通过在 Stiefel 流形上约束优化来证明大多数局部最优解与不变的线性子空间一致。通过验证实现方法和理论的三个真实数据集。

Jun, 2024

本研究解决了单一源域泛化中的两个关键挑战：如何训练一个能够泛化的模型以及如何验证其泛化能力。通过对源域图像进行多样化的增强，构建了一个独立的验证集，显示出验证和测试性能之间的高相关性，显著提高了相对准确率，从而推动了多种标准基准的新方法的有效性。

Sep, 2024