利用专家一致性提高算法决策支持能力

Jan, 2021

利用专家一致性提高算法决策支持能力

Leveraging Expert Consistency to Improve Algorithmic Decision Support

Maria De-Arteaga, Vincent Jeanselme, Artur Dubrawski, Alexandra Chouldechova

TL;DR探讨了历史专家决策在机器学习中的应用，结合基于影响函数的方法，提出了训练时标签合并的方法，以及通过混合和推迟模型来利用推断的一致性，并以儿童虐待热线筛选为背景，证明所提出的方法可以显著提高高风险案件的预测准确率。

Abstract

machine learning (ML) is increasingly being used to support high-stakes decisions, a trend owed in part to its promise of superior predictive power relative to human assessment. However, there is frequently a gap between decision objectives and what is captured in the observed outcomes

machine learning expert decisions predictive model influence function-based methodology child maltreatment

发现论文，激发创造

将专家判断融入机器学习模型

本文提出了一个新的框架，通过对无标签数据点的代表性进行评估，利用专家的判断来改进机器学习模型的预测，并在多项实验和评估中获得了成功的结果和评价指标。

Apr, 2023

学习推迟专家意见的一致估计值

本文探讨了如何学习可以预测或选择推迟下游专家决策的预测器。我们提出了一种基于学习分类器和拒绝器的过程，并理论分析了其效果。该方法基于一种新颖的成本敏感学习算法，我们给出了一种一致的代理损失函数。本文还通过各种实验验证了我们方法的有效性。

Jun, 2020

误信：测量机器学习对人类决策的干扰

研究人员探究了人们在处理两项困难任务时，对机器学习（ML）建议的信任程度；他们发现，即使人们了解这些任务，并给出了表明该系统不自信的信息，但在执行大部分时间正确的任务时，人们也会相信错误的 ML 建议，并且提供了四种不同类型的系统信息可增加人们对建议的信任，并且数学和逻辑技能对于使用 ML 建议的决策者来说可能与 ML 一样重要。

May, 2020

专家一致性存在下的有选择标签学习

本论文探讨选择性标签下算法辅助决策学习的问题，介绍为什么标准方法无法有效处理选择性标签的普遍选择偏误问题，提出了一种数据增强方法，既可以利用专家一致性减轻选择性标签导致的部分盲目性，也可以经验验证学习是否会导致易受系统性歧视的不可靠模型。

Jul, 2018

面向多个专家的无偏准确推迟

我们提出了一个框架，在混合机器学习模型和专家预测的预测系统中，同时学习分类器和推迟系统，通过推迟到一个或多个人类专家来确保较低置信度的分类器的准确性和公平性。测试结果表明，我们的学习框架显著提高了最终预测的准确性和公平性，而且在一个实际的内容审核数据集上也优于传统基线。

Feb, 2021

防篡改机器学习

本研究提出了一种新的稳健性估计器，以避免在透明决策规则下个体的行为可能造成的操纵行为对决策结果的影响并在肯尼亚的一项大型实验中表明，在策略鲁棒方法估计的决策规则的指导下，其表现优于基于标准监督学习方法的规则。

Apr, 2020

可解释的数据驱动建模通过专家混合：朝着有效融合灰箱和黑箱模型

我们提出了一种基于 “专家混合” 的综合框架，以解决传统模型和机器学习方法在处理复杂系统时的准确性和解释性之间的平衡问题。通过数据驱动的融合多样化的本地模型，充分利用基于原则的先验知识，我们的解决方案支持专家的独立训练，并结合了机器学习和系统辨识技术，同时支持合作和竞争学习范式。为了增强解释性，我们对专家组合的突变进行了惩罚。实验结果验证了我们的方法的有效性，能够产生与目标现象紧密相似且可解释的模型组合。

Jan, 2024

集成智慧：提高深度学习模型的一致性

本文研究了部署模型的周期性重新训练对模型行为的影响，从而定义了学习模型的一致性和正确性一致性，并证明了集成学习器的一致性和正确性一致性不低于个体学习器的平均一致性和正确性一致性。最后，提出了一个高效的动态快照集成方法，并使用三个数据集和两个先进的深度学习分类器验证了理论。

Nov, 2020

人类 - 算法交互决策的必要性：在算法评分错误的情况下

该研究探讨了算法工具在儿童虐待热线筛选决策方面的应用，结果显示人类对机器的建议进行了更改，缺乏自主权的全自动化决策管道存在风险。

Feb, 2020

基于启发式弱学习的自动决策制定

本研究旨在探讨如何通过从用户中收集排名决策策略来参与算法设计，以替代传统需要人工标记成本高昂的方法，并借助两个用例的实证数据表明，我们提出的弱监督学习方法可以几乎与完全监督方法一样准确地理解用户的偏好和选择。

May, 2020