Feb, 2022

陪审学习：将异议声纳入机器学习模型中

PDF
TL;DR本文提出通过采用陪审团的隐喻来确立不同的人群在机器学习算法中的权威性，设计了一个可以模拟数据标记者的深度学习结构，在解决标签不一致性的过程中具有更灵活的适应性和探索性。
jury learningsupervised mlannotator modelclassifier predictionlabel disagreement
发现论文，激发创造
  • 将专家判断融入机器学习模型

    本文提出了一个新的框架，通过对无标签数据点的代表性进行评估，利用专家的判断来改进机器学习模型的预测，并在多项实验和评估中获得了成功的结果和评价指标。

    Apr, 2023

  • 主观数据的主观众群分歧：通过群体级学习揭示有意义的众人观点

    通过使用语言特征和标签分布，我们介绍了一种无监督学习方法 CrowdOpinion，用于将类似项目汇集为更大的标签分布样本，其中涉及人工智能系统的公平性和人工注释者不一致问题的解决。

    Jul, 2023

  • 多样化集成：众包机器学习实验

    通过竞赛平台的众包机器学习是一种流行且常见的方法，这篇论文开发了一种另类的众包框架来整合社区反馈，以解决群体不公平问题，并提供了关于部署这种框架的具体指导。

    Feb, 2024

  • 真相发现算法中的公平性和偏见：实验分析

    本文通过对两个人群标签数据集的系统研究发现，群体中存在个体提供有偏差的结果，采用简单的真值发现方法是次优的。同时，流行的真值发现算法并非万能，传统的公平性实现方法和纠正标签偏差的方法在这种情况下也无效。因此本文恳请设计新颖的具有偏差意识的真值发现算法来缓和这些问题。

    Apr, 2023

  • 用对抗学习缓解不必要的偏见

    本文提出了通过引入变量以及同时训练预测器和对手的方式来缓解训练数据中存在的偏见问题，在不同定义的公平性与多种基于梯度的学习模型，包括回归和分类任务中均具有广泛适用性的公平性缓解方法。

    Jan, 2018

  • 综合评估工具箱：陪审团

    评估在深度学习中扮演关键角色，本文介绍了一种名为 jury 的工具包，旨在为不同任务和度量提供统一的评估框架，标准化和改进系统的指标评估，以帮助研究人员克服评估中的各种挑战。

    Oct, 2023

  • 西班牙法律判决的可解释机器学习多标签分类

    提出了一个将人工智能、机器学习、自然语言处理与深度法律推理结合的混合系统，用于法律判决的多标签分类和解释，通过提供自然语言解释来减轻法律专家的重复劳动密集型法律分类任务。

    May, 2024

  • 当大多数人都错了：利用注释者的分歧来完成主观任务

    针对网络暴力检测中的数据标注员意见分歧问题，提出了一种预测个体标注员评估与目标群体意见的模型，并通过结合潜在目标群体与评估进行评估，在预测任务中表现出了 22% 的性能提升和 33% 的模型不确定性预测能力。我们发现，标注员的评估可以通过其在线内容的人口统计信息和意见进行预测，而无需跟踪标注员 ID。同时，我们还发现在预测标注员意见时，使用非侵入性调查问题有助于最大程度保护隐私和最小化不必要的个人信息收集。

    May, 2023

  • 众包深度学习

    本文提出了一种基于 EM 算法和众包技术的神经网络训练模型，能够直接从多个标注者的嘈杂标签数据中进行有监督学习，并能够捕捉不同标注者的可靠性和偏见，最终在多个领域获得了新的最优结果。

    Sep, 2017

  • 处理意见不合：超越主观标注中的多数派投票

    通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

    Oct, 2021