对未见过分布进行有信心的预测

ICCVJul, 2021

Predicting with Confidence on Unseen Distributions

Devin Guillory, Vaishaal Shankar, Sayna Ebrahimi, Trevor Darrell, Ludwig Schmidt

TL;DR研究发现现有的分布距离度量方法，例如 Frechetdistance 或 Maximum Mean Discrepancy，不能在分布偏移中可靠地估计模型性能；然而，分类器预测的置信度差异能够成功地估计分类器在各种转移情况下的性能变化，并且在几个现实和具有挑战性的分布转移中有效地减少预测误差近一半（46％），这一方法称为 DoC (Difference of Confidences)。

Abstract

Recent work has shown that the performance of machine learning models can vary substantially when models are evaluated on data drawn from a distribution that is close to but different from the training distribution. As a result, predicting model performance on unseen distributions is a

machine learning predictive uncertainty domain adaptation distribution shift doc

发现论文，激发创造

量化分布漂移和不确定性，提升机器学习应用的模型鲁棒性

使用合成数据和统计度量来评估分布变化和模型不确定性，为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。

May, 2024

稳健验证：即使分布发生偏移，也能自信地做出预测

本文提出了一种建立在鲁棒性预测推断上的不确定性估计模型，使用 conformal inference 方法建立了准确覆盖测试数据分布的预测集，通过估计数据漂移量建立了鲁棒性，并在多个基准数据集上进行了实验证明了该方法的重要性。

Aug, 2020

距离在改善协变量偏移下的性能估计中起作用

考虑到协变量转移下测试样本与预期训练分布的距离，可以显著提高性能估计，通过引入 “距离检查” 来避免依赖于不可信任的模型输出以进行准确度估计。

Aug, 2023

超越顶级一致性：使用差异来预测分布转移下的性能

模型泛化性和预测分布在数据的广泛应用中至关重要，本研究通过基于 Hellinger 距离、Jensen-Shannon 和 Kullback-Leibler 散度的模型差异概念，发现散度得分相对于最高 1 的概念在测试误差估计和检测率上提供更好的结果，实验涉及标准视觉和基础模型。

Dec, 2023

学习中的分布偏移的高效差异性测试

提供了可靠与高效的算法来测试本地化的差异距离，进一步扩展了 TDS 学习模型并改进了之前相关的工作，同时提供了针对常数深度电路的指数级改进，与低维凸集的首个正面结果。

Jun, 2024

超越差异：对分布偏移理论的深入研究

在分布转移理论中，通过采用不变风险最小化（IRM）类似的假设连接分布，研究源分布到目标分布的分类器，揭示了源分布数据足够准确分类目标的条件，并讨论了在这些条件不满足时，只需目标的无标签数据或标记目标数据的情况，并提供了严格的理论保证。

May, 2024

基于无监督域自适应的校准变量偏移预测

本文提出了一种算法，用于校准模型预测并考虑协变量转移的情况，采用重要性加权法纠正训练分布与实际分布的差异，并通过领域适应的方法实现两个分布尽可能一致，实证结果表明，该方法在存在协变量转移时优于现有的校准方法。

Feb, 2020

在线准确性：关于样本内外泛化的强相关性

通过对 CIFAR-10、ImageNet、FMoW-WILDS 和 iWildCam-WILDS 等模型和数据集的实证研究，我们展示了机器学习系统在未知、分布不同的环境中表现的强相关性，并提供了基于高斯数据模型的理论解释。

Jul, 2021

用于外部分布预测的分布偏移反演模型

该论文探讨了如何绕过测试分布的要求以训练分布转换器，并在多领域和单一领域的广义数据集上进行了实验。他们提出了一种便携式的分布漂移反演算法，通过线性组合附加高斯噪声并使用仅在源分布上进行训练的扩散模型将 OoD 测试样本转移到训练分布中。

Jun, 2023

评估数据集偏移下模型预测不确定性的可信度

以大量分类问题为基础，对现有现代机器学习方法中不同的贝叶斯和非贝叶斯概率量化预测不确定性的方法进行了评估，发现一些基于模型边缘化的方法在广泛的任务领域内表现出令人惊讶的强大效果。

Jun, 2019