本文提出了一种新的概念 —— 决策校准，指预测分布与真实分布在一组决策者下是 “不可区分的”。在选择有界行动的决策者的情况下，作者设计了一种重新校准算法，其样本复杂度多项式时间，并在皮肤病和 ImageNet 分类等领域中验证了该算法的有效性。

Jul, 2021

本研究旨在解决机器学习中不同模型之间预测结果冲突的问题，定义了预测重复性作为预测问题接受有多个竞争模型的能力，并引入形式化的度量方式和整数规划工具来计算它们，应用于反复犯罪预测问题中，结果显示现实世界的数据集会接受互相冲突的模型，提出了需要在模型评估中报告预测重复性的建议。

Sep, 2019

本文研究了基于对比学习的深度学习模型的嵌入向量的不确定性评估问题，并提出了一种方法，直接在嵌入空间中估计数据分布并考虑其局部一致性，结果表明该方法可以有效预测嵌入向量的下游性能。

Jul, 2022

介绍了一种名为 “数据集多样性” 的框架，用于研究训练数据集中的不准确性、不确定性和社会偏见如何影响测试时间的预测，以及该框架在机器学习实践和研究中的考虑。

Apr, 2023

提高机器学习模型的预测准确性和可靠性，本文提出了一种简化深度集成模型的方法，通过不同的误差计算方法来训练多个线性分类器，达到与成本高昂的深度集成模型相同的校准能力和良好的分类性能，适用于组织病理图像和内镜图像的分类应用。

Mar, 2023

机器学习中的公平干预可能会加剧预测复杂性，而提出了一种可应用于任何公平干预的集成算法来解决挑战并确保更一致的预测。

Jun, 2023

通过 AdaCalib 模型的双重适应方法，我们可以根据后验统计信息学习保序函数族，进行精细校准，并确保后验概率适合于校准的场值。实验证明，AdaCalib 在校准性能上获得了显著的提高，可在线部署并超越先前的方法。

May, 2022

本文综述了近期不同领域取得的进展，以解决基于概率模型进行的预测决策可能受到模型错误规定的影响。我们回顾了诊断技术，并提出了决策分析的形式化方法，特别是在模型错误规定的情况下。我们采用贝叶斯方法，以模型空间中模型扰动的稳定性量化模型错误规定下的最优决策，这已被应用于鲁棒控制、宏观经济学和金融数学领域。

Feb, 2014

本文提出了一种多工作回归模型的校准方法，可用于估计单个或多个参数，当缺失概率被正确指定且假设了多个条件均值工作回归模型时，具有奥拉克尔（Oracle）性质，在缺失数据机制被错误指定时，仍可成为一致估计量，可使用共同的校准权重同时获得所有感兴趣参数的半参数效率界，并且与生物统计学、计量经济学和调查抽样中许多现有的估计方法有联系。

Oct, 2014

通过利用 dropout 技术来探索 Rashomon 集合中的模型，提出了一个用于衡量和减轻预测多样性的新框架，通过严格的理论推导和实验证明该技术在预测多样性度量估计方面始终优于基准方法，并通过 dropout 集成和模型选择实现了高效的 Rashomon 集合探索和度量估计。

Feb, 2024