我们提出了一个框架，在混合机器学习模型和专家预测的预测系统中，同时学习分类器和推迟系统，通过推迟到一个或多个人类专家来确保较低置信度的分类器的准确性和公平性。测试结果表明，我们的学习框架显著提高了最终预测的准确性和公平性，而且在一个实际的内容审核数据集上也优于传统基线。

Feb, 2021

通过一个包含自动模型和外部决策者的两阶段框架，本文探讨了多个决策者（自动化和人类）之间的相互作用如何影响算法的开发。提出了 “学习推迟” 这一概念，通过考虑其他参与者的影响因素，将拒绝学习推广。结果表明，这种方法可以使系统的准确性和公正性得到显著提高，即使对于不一致或有偏见的用户。

Nov, 2017

本文提出了一个三步方法，可以使用一个较小的人类专家预测集训练学习延迟算法。该方法涉及使用具有地面真实标签的嵌入模型进行训练，然后进行专家能力预测器模型的训练，生成人工专家预测。 我们在两个公共数据集上评估了我们的方法，并展示了即使对每个类别只有少量的专家预测，这些算法也能超过单独使用人类专家和人工智能的性能。

Apr, 2023

学习与多个专家共同推迟预测的框架，关于回归问题的推迟框架和新型代替损失函数的研究。

Mar, 2024

这篇论文介绍了在专家推迟决策的场景下，利用学习算法提高决策准确性的方法，通过分析一系列代理损失函数的理论性质，设计并使用最小量的数据训练出高效准确的决策系统。

Jul, 2022

本文介绍如何利用因果推断来理解与环境交互并预测系统变更的后果，从而使人类和算法能够选择改变，以改善系统的短期和长期性能。作者还通过对 Bing 搜索引擎广告放置系统的实验来说明他们的方法。

Sep, 2012

研究了选择性预测系统中人机交互的影响，通过不同类型的信息传递比较两种消息传递的组合方式对人类判断准确率的影响，发现必须仔细考虑如何将推迟决策传达给人类才能更好地设计选择性预测系统，同时使用人机交互框架仔细评估人工智能团队的总体准确性。

Dec, 2021

提出一个新的框架来进行预测系统的评估，并检验了现有的统计指标的有效性，呈现出可靠的实验结论。

Jan, 2021

通过对模拟数据和真实世界数据的性能比较，本文评估了一种名为 “双重 / 无偏机器学习”（DML）的方法，在估算因果效应时，使用机器学习放宽了传统假设的限制。我们发现，将灵活的机器学习算法应用于 DML 可以提高对各种非线性混淆关系的调整，从而避免了传统因果效应估计中通常需要的功能形式假设。然而，我们证明这种方法仍然严重依赖于因果结构和识别的标准假设。在我们的应用中，估计空气污染对房价的影响时，我们发现 DML 估计结果一直比不太灵活的方法估计结果要大。基于我们的整体结果，我们为研究人员在实际应用 DML 时提供了可行的建议。

Mar, 2024

本研究提出了一种新的表示学习框架 - 部分概念瓶颈，该框架将反事实解释作为风险模型的嵌入式属性，有助于研究人员和临床医生改进个性化护理，探索干预的假设性差异效应。

May, 2022