研究标签移位问题下，使用 moment-matching 方法通过混淆矩阵来估算标签边际分布并提供可解释的误差界限，同时介绍了 MLLS 方法，并提出了一种统一方法来比较两种方法，并将 MLLS 的有限样本误差分解成反映误差估计和标签错误率校准不当的项，最后通过实验验证了其有效性。

Mar, 2020

该研究探讨了如何解决标签转移问题，提出了一种称为最大似然算法的方法，并结合一种称为校准的类型来减少偏见，证明了最大似然算法的目标是凸的，出现了黑盒转移学习和标签转移下的正则化学习的方法。研究表明，最大似然算法结合适当的校准是一个有效的基线。

Jan, 2019

在面对数据集转移时，模型校准在确保机器学习系统可靠性方面起到关键作用。本研究提出了一种基于标签转移的新型 CE 估计器，通过利用加权重要性重新调整标记源数据分布，实现了对转移目标分布的一致且渐进无偏的 CE 估计，实验结果表明该估计器的有效性和可靠性。

Dec, 2023

介绍了使用统一框架来检测数据移位类型并量化其强度，以便改进预测方法，可用于分类和回归任务。

May, 2022

该文研究了机器学习模型在遇到新的用户数据时，如何估计模型的性能，提出了一种新的分布偏移模型 SJS 和算法框架 SEES，实验结果表明 SEES 在各种数据集和分布偏移情况下，相比现有方法，均能显著提高分布偏移误差的估计精度。

Sep, 2022

我们提出了一种鲁棒准确的性能估计方法，用于评估无标签数据上机器学习分类模型的性能，准确量化协变量偏移对模型性能的影响，并在 600 个数据集 - 模型对上进行了评估，结果表明，该方法是估计分类模型在任何评估环境中性能的最佳方法。

Jan, 2024

研究了基于对比预测的黑盒测试评估技术，用于评估医学图像领域的人工智能医疗设备的测试性能，希望能推广实用和有效评估技术，从而促进临床 AI 工具的健康和可靠发展。

Jul, 2022

通过训练二元分类器，我们提出了一种简单的方法来检测分布的变化，从而解决了在模型设计过程中的分布偏移问题，并通过验证其在实际应用中的有效性，证实了此方法可以提高设计的质量。

Nov, 2023

提出了无界和有界的调整方法，以平均预测与类分布相等化，以最小化得分规则。实验结果表明在实际应用中，即使类分布仅近似已知，仍然可以根据移位量和类分布的精度减少损失。

Nov, 2021

深度神经网络容易受到后门攻击，本文提出了一种新方法 Prediction Shift Backdoor Detection（PSBD），利用基于不确定性的方法识别可疑的训练数据，以揭示潜在的后门样本。经过广泛实验证实，PSBD 在主流检测方法中取得了最好的结果。

Jun, 2024