本研究提出新的基于 one-vs-all 分类器的 L2D 系统，旨在提高 L2D 系统的校准性能，这不会影响我们模型的准确性，同时在各种任务中也表现出可比较（通常是优于）Mozannar 和 Sontag（2020 年）模型的准确性，涵盖仇恨言论检测、星系分类和皮肤病诊断等。

Feb, 2022

学员分享学习（L2D）旨在改善人工智能协作系统，通过学习如何将决策推迟到人类在更可能比机器学习分类器更准确时。现有的 L2D 研究忽视了阻碍其实际应用的现实系统的关键要素，即：i）忽略了具有不同成本的类型 1 错误和类型 2 错误的成本敏感场景；ii）要求对训练数据集的每个实例进行并发的人类预测；iii）不处理人类工作能力的限制。为了解决这些问题，我们提出了成本和能力约束下的推迟框架（DeCCaF）。DeCCaF 是一种新的 L2D 方法，采用监督学习来建模人类错误的概率，满足更宽松的数据要求（每个实例只有一个专家预测），并使用约束编程来在工作负载限制下全局最小化错误成本。我们在一系列具有不同 9 名合成欺诈分析师团队和个体工作能力限制的成本敏感型欺诈检测场景中测试了 DeCCaF。结果表明，我们的方法在各种场景中比基准方案表现显著好，平均减少了 8.4% 的错误分类成本。

Mar, 2024

本文提出了一个三步方法，可以使用一个较小的人类专家预测集训练学习延迟算法。该方法涉及使用具有地面真实标签的嵌入模型进行训练，然后进行专家能力预测器模型的训练，生成人工专家预测。 我们在两个公共数据集上评估了我们的方法，并展示了即使对每个类别只有少量的专家预测，这些算法也能超过单独使用人类专家和人工智能的性能。

Apr, 2023

我们提出了一个框架，在混合机器学习模型和专家预测的预测系统中，同时学习分类器和推迟系统，通过推迟到一个或多个人类专家来确保较低置信度的分类器的准确性和公平性。测试结果表明，我们的学习框架显著提高了最终预测的准确性和公平性，而且在一个实际的内容审核数据集上也优于传统基线。

Feb, 2021

通过学习指导机制，我们建议让机器提供有助于决策的指导而不是直接给出决策，从而避免了权重倾向，并且对于医学诊断任务进行初步但有希望的结果展示。

Aug, 2023

通过一个包含自动模型和外部决策者的两阶段框架，本文探讨了多个决策者（自动化和人类）之间的相互作用如何影响算法的开发。提出了 “学习推迟” 这一概念，通过考虑其他参与者的影响因素，将拒绝学习推广。结果表明，这种方法可以使系统的准确性和公正性得到显著提高，即使对于不一致或有偏见的用户。

Nov, 2017

我们提出了一项关于使用多个专家进行学习推迟的代理损失和算法的研究，并证明了这些代理损失从强大的 $H$- 一致性上获益。我们通过几个实际代理损失的例子阐述了分析的应用，并给出了明确的保证。虽然这项工作的主要焦点是理论分析，但我们还报告了在 SVHN 和 CIFAR-10 数据集上的若干实验结果。

Oct, 2023

学习与多个专家共同推迟预测的框架，关于回归问题的推迟框架和新型代替损失函数的研究。

Mar, 2024

提出了一种名为 LDU 的算法，将经常出错的诊断疑点和病人推荐给人类专家以避免错误诊断的风险，该算法在深度神经网络进行计算编码的辅助下，在医疗实践中可以显著减少诊断错误的风险。

Aug, 2021

通过研究发现，目前 Human-AI collaboration 在决策方面已经有了一定的进展，但还存在一些问题需要解决，如性能和公平性不足，学习模型的部署需要考虑实际环境等方面，需要更多的研究进行完善。

Jun, 2022