May, 2024

透视者的范式转变：对捕捉人工标签的假设和挑战

PDF
TL;DR对于机器学习中的数据标注，多年来一直采用从多个标注者那里收集和汇总标签的方法。然而，当标注者不一致时，我们应该怎么办呢？尽管长期以来，标注者的不一致被视为需要最小化的问题，但新的观点主义方法质疑这一假设，将不一致视为宝贵的信息源。本文中，我们研究了有关标注者不一致的实践和假设，一些是受观点主义方法的挑战，一些是待解决的问题，以及基于这些假设进行工作的实际和规范性挑战。我们最后提出了对数据标注流程的建议，并探索与主观性和不一致性有关的未来研究方向。
data labelingmachine learningannotatorsdisagreementperspectivist approaches
发现论文，激发创造
  • 预测计算中朝向透视主义矫正的转变

    本文阐述 “数据透视主义” 的概念，提出通过采取人类主体在机器学习过程中所涉及到的知识表达方法，来代替传统的黄金标准数据集。文章探讨了如何在实践中采用透视主义态度来解决主观和客观机器学习任务的问题，并提出相关建议和研究议程。

    Sep, 2021

  • SemEval-2023 任务 11 的 iLab：建模分歧还是建模不同观点？

    使用现有多任务模型评估并结合模型仿真方法与个体标注者观点来预测个体标注者的不一致性，得出具体少数观点的模型更适用于模型预测。

    May, 2023

  • 主观 NLP 任务的两种对比数据注释范式

    本研究提出使用描述性和规范性两种策略来标注数据，探讨了两种策略的优劣，并且借助仇恨言论数据的标注实验来说明两种策略的不同。

    Dec, 2021

  • 人类标注变异的 ' 问题 '：关于数据、建模和评估中的基础真相

    本文探讨人类标注变异的问题在机器学习中的影响及解决方法，并提供一个包含无聚合标签的公开数据集库以便以后进行研究。

    Nov, 2022

  • 关于发布数据集中的标注者层次标签和信息

    本文探讨了通过众包方式进行 NLP 数据集标注时，标注者之间的社会文化背景和个体经验差异可能导致的标签汇总引入了代表性偏差，并提高了数据集透明度和实用性的建议。

    Oct, 2021

  • 处理意见不合：超越主观标注中的多数派投票

    通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

    Oct, 2021

  • 机器视觉模型中的歧义问题：政策建议

    本文探讨了机器视觉的图像标签中主观人类判断的三大影响源 —— 图像标签描绘、评定者背景与任务定义，提出了处理机器学习数据集中的标签歧义的最佳实践。

    Jun, 2023

  • 数据视角统一和个性化：社会规范应用

    本文针对社交媒体上的冲突话题，研究了如何利用个性化方法对 13k 个标注者进行标注，比较了该方法在预测社交规范感知方面的有效性，并对不同关系下的社会情境的性能进行了分析。

    Oct, 2022

  • 从不同角度看问题：探索关于声明的多元视角

    论文探讨信息革命的一个关键后果是信息供应的大量增加和污染。我们提出了一个基于自然语言理解的任务，即建立一个包含主张、观点和证据段落的数据集，以便更好地理解有争议的问题。通过在线辩论网站、搜索引擎和众包，本研究构建了名为 PERSPECTRUM 的数据集，用以解决主张的支持观点的发现，具有挑战性和机遇性。

    Jun, 2019

  • 数据标注中的权力动态：主观性与强加性之间

    本文探讨机器学习中的数据注释实践，包括数据注释的定义和其对标签的意义进行赋予的过程。作者对注释公司进行了田野调查，分析了结构、权力关系和自然化规定是如何影响数据的解释的。结果表明，在注释工作中，标签通常是从其他具有更高权力、其他利益、价值和优先事项的人员那里产生的。这个发现指出，数据的解释过程涉及到多个人员和社会的权力问题。

    Jul, 2020