面向多个专家的无偏准确推迟
本文提出了一个三步方法，可以使用一个较小的人类专家预测集训练学习延迟算法。该方法涉及使用具有地面真实标签的嵌入模型进行训练，然后进行专家能力预测器模型的训练，生成人工专家预测。 我们在两个公共数据集上评估了我们的方法，并展示了即使对每个类别只有少量的专家预测，这些算法也能超过单独使用人类专家和人工智能的性能。
Apr, 2023
通过因果推断的方法，评估延迟系统对预测准确度的因果影响，区别两种场景，一种是能够接触到人类和机器学习模型的预测结果，另一种是只有人类预测结果可用，通过这种方法在合成和真实数据集上对七种延迟系统进行了实证评估。
May, 2024
通过一个包含自动模型和外部决策者的两阶段框架，本文探讨了多个决策者（自动化和人类）之间的相互作用如何影响算法的开发。提出了 “学习推迟” 这一概念，通过考虑其他参与者的影响因素，将拒绝学习推广。结果表明，这种方法可以使系统的准确性和公正性得到显著提高，即使对于不一致或有偏见的用户。
Nov, 2017
这篇论文介绍了在专家推迟决策的场景下，利用学习算法提高决策准确性的方法，通过分析一系列代理损失函数的理论性质，设计并使用最小量的数据训练出高效准确的决策系统。
Jul, 2022
通过联合训练分类器和分配系统的方式来补充多个人类专家的能力，实现了对于人类专家难以预测的情况进行准确预测，并将任务分配给最合适的小组成员，该方法在多个实验中均表现出优越的性能。
Jun, 2022
学习推迟（L2D）框架通过将困难决策交给人类专家，实现了自主系统的安全性和稳健性。我们在此工作中缓解了每个专家都是明确识别的假设，并设计了一个能够应对测试时从未遇到过的专家的 L2D 系统。我们使用元学习来实现这一目标，同时考虑了基于优化和基于模型的变种。通过给出用于描述当前可用专家的小的上下文集合，我们的框架可以快速适应其推迟策略。对于基于模型的方法，我们采用了一种注意机制，可以查找上下文集合中与给定测试点相似的点，从而更精确地评估专家的能力。在实验中，我们在图像识别、交通标志检测和皮肤病病变诊断基准上验证了我们的方法。
Mar, 2024
我们提出了一项关于使用多个专家进行学习推迟的代理损失和算法的研究，并证明了这些代理损失从强大的 $H$- 一致性上获益。我们通过几个实际代理损失的例子阐述了分析的应用，并给出了明确的保证。虽然这项工作的主要焦点是理论分析，但我们还报告了在 SVHN 和 CIFAR-10 数据集上的若干实验结果。
Oct, 2023
在线平台上成功的内容管理依赖于人工智能协作方法，这篇论文介绍了一种模型来捕捉内容管理中的人工智能相互作用，提出了一种近乎最优的学习算法来平衡选择性采样数据集的分类损失、未审核帖子的独特损失和人工审核系统的延迟损失。
Feb, 2024