Mar, 2024

基于工作负载约束的多专家权威延迟成本敏感学习

PDF
TL;DR学员分享学习（L2D）旨在改善人工智能协作系统，通过学习如何将决策推迟到人类在更可能比机器学习分类器更准确时。现有的 L2D 研究忽视了阻碍其实际应用的现实系统的关键要素，即：i）忽略了具有不同成本的类型 1 错误和类型 2 错误的成本敏感场景；ii）要求对训练数据集的每个实例进行并发的人类预测；iii）不处理人类工作能力的限制。为了解决这些问题，我们提出了成本和能力约束下的推迟框架（DeCCaF）。DeCCaF 是一种新的 L2D 方法，采用监督学习来建模人类错误的概率，满足更宽松的数据要求（每个实例只有一个专家预测），并使用约束编程来在工作负载限制下全局最小化错误成本。我们在一系列具有不同 9 名合成欺诈分析师团队和个体工作能力限制的成本敏感型欺诈检测场景中测试了 DeCCaF。结果表明，我们的方法在各种场景中比基准方案表现显著好，平均减少了 8.4% 的错误分类成本。
learning to deferhuman-ai collaboration systemsdeferral under cost and capacity constraints frameworkfraud detection scenariosmisclassification cost
发现论文，激发创造
  • 学习向人群推迟决策的元学习方法

    学习推迟（L2D）框架通过将困难决策交给人类专家，实现了自主系统的安全性和稳健性。我们在此工作中缓解了每个专家都是明确识别的假设，并设计了一个能够应对测试时从未遇到过的专家的 L2D 系统。我们使用元学习来实现这一目标，同时考虑了基于优化和基于模型的变种。通过给出用于描述当前可用专家的小的上下文集合，我们的框架可以快速适应其推迟策略。对于基于模型的方法，我们采用了一种注意机制，可以查找上下文集合中与给定测试点相似的点，从而更精确地评估专家的能力。在实验中，我们在图像识别、交通标志检测和皮肤病病变诊断基准上验证了我们的方法。

    Mar, 2024

  • 使用一对多分类器的校准学习进行推迟

    本研究提出新的基于 one-vs-all 分类器的 L2D 系统，旨在提高 L2D 系统的校准性能，这不会影响我们模型的准确性，同时在各种任务中也表现出可比较（通常是优于）Mozannar 和 Sontag（2020 年）模型的准确性，涵盖仇恨言论检测、星系分类和皮肤病诊断等。

    Feb, 2022

  • 决策中的人工智能协作：超越推迟学习

    通过研究发现，目前 Human-AI collaboration 在决策方面已经有了一定的进展，但还存在一些问题需要解决，如性能和公平性不足，学习模型的部署需要考虑实际环境等方面，需要更多的研究进行完善。

    Jun, 2022

  • 学习不确定性并将其纳入算法延迟以实现安全的计算机辅助诊断

    提出了一种名为 LDU 的算法，将经常出错的诊断疑点和病人推荐给人类专家以避免错误诊断的风险，该算法在深度神经网络进行计算编码的辅助下，在医疗实践中可以显著减少诊断错误的风险。

    Aug, 2021

  • 面向多个专家的无偏准确推迟

    我们提出了一个框架，在混合机器学习模型和专家预测的预测系统中，同时学习分类器和推迟系统，通过推迟到一个或多个人类专家来确保较低置信度的分类器的准确性和公平性。测试结果表明，我们的学习框架显著提高了最终预测的准确性和公平性，而且在一个实际的内容审核数据集上也优于传统基线。

    Feb, 2021

  • 有限专家预测下的顺延学习

    本文提出了一个三步方法，可以使用一个较小的人类专家预测集训练学习延迟算法。该方法涉及使用具有地面真实标签的嵌入模型进行训练，然后进行专家能力预测器模型的训练，生成人工专家预测。 我们在两个公共数据集上评估了我们的方法，并展示了即使对每个类别只有少量的专家预测，这些算法也能超过单独使用人类专家和人工智能的性能。

    Apr, 2023

  • 学习多位专家推迟预测的原则方法

    我们提出了一项关于使用多个专家进行学习推迟的代理损失和算法的研究，并证明了这些代理损失从强大的 $H$- 一致性上获益。我们通过几个实际代理损失的例子阐述了分析的应用，并给出了明确的保证。虽然这项工作的主要焦点是理论分析，但我们还报告了在 SVHN 和 CIFAR-10 数据集上的若干实验结果。

    Oct, 2023

  • 负责任预测：通过学习延迟提高公平性和准确性

    通过一个包含自动模型和外部决策者的两阶段框架，本文探讨了多个决策者（自动化和人类）之间的相互作用如何影响算法的开发。提出了 “学习推迟” 这一概念，通过考虑其他参与者的影响因素，将拒绝学习推广。结果表明，这种方法可以使系统的准确性和公正性得到显著提高，即使对于不一致或有偏见的用户。

    Nov, 2017

  • 学习推迟专家意见的一致估计值

    本文探讨了如何学习可以预测或选择推迟下游专家决策的预测器。我们提出了一种基于学习分类器和拒绝器的过程，并理论分析了其效果。该方法基于一种新颖的成本敏感学习算法，我们给出了一种一致的代理损失函数。本文还通过各种实验验证了我们方法的有效性。

    Jun, 2020

  • 个性化大型语言模型指导人工专家学习

    通过学习指导机制，我们建议让机器提供有助于决策的指导而不是直接给出决策，从而避免了权重倾向，并且对于医学诊断任务进行初步但有希望的结果展示。

    Aug, 2023