预测计算中朝向透视主义矫正的转变

Sep, 2021

预测计算中朝向透视主义矫正的转变

Toward a Perspectivist Turn in Ground Truthing for Predictive Computing

Valerio Basile, Federico Cabitza, Andrea Campagner, Michael Fell

TL;DR本文阐述 “数据透视主义” 的概念，提出通过采取人类主体在机器学习过程中所涉及到的知识表达方法，来代替传统的黄金标准数据集。文章探讨了如何在实践中采用透视主义态度来解决主观和客观机器学习任务的问题，并提出相关建议和研究议程。

Abstract

Most artificial intelligence applications are based on supervised machine learning (ML), which ultimately grounds on manually annotated data. The annotation process is often performed in terms of a majority vote and this has been proved to be often problematic, as highlighted by recent

artificial intelligence supervised machine learning data perspectivism knowledge representation research agenda

发现论文，激发创造

透视者的范式转变：对捕捉人工标签的假设和挑战

对于机器学习中的数据标注，多年来一直采用从多个标注者那里收集和汇总标签的方法。然而，当标注者不一致时，我们应该怎么办呢？尽管长期以来，标注者的不一致被视为需要最小化的问题，但新的观点主义方法质疑这一假设，将不一致视为宝贵的信息源。本文中，我们研究了有关标注者不一致的实践和假设，一些是受观点主义方法的挑战，一些是待解决的问题，以及基于这些假设进行工作的实际和规范性挑战。我们最后提出了对数据标注流程的建议，并探索与主观性和不一致性有关的未来研究方向。

May, 2024

谁的真实？考虑个体和集合身份的数据集标注

本文调查了众包数据集标注的伦理考虑，提出了 ML 数据管道各阶段的一系列推荐和考虑因素。

Dec, 2021

设计投入应用于多元世界观的 NLP 系统

自然语言推理（NLI）是评估人工智能语言理解的基础。我们认为，现有模型在模糊的例子上失败并且表现出差劲的泛化能力，这是由于忽视了意义的主观性，它与个体的世界观密切相关。我们提出了一种观点主义的方法：构建捕捉注解者人口统计、价值观和标签理由的数据集。这样的数据集将明确地建模多样化的世界观。我们对 SBIC 数据集的一个子集进行的初步实验表明，即使是有限的注解者元数据也能提高模型的性能。

May, 2024

主观 NLP 任务的两种对比数据注释范式

本研究提出使用描述性和规范性两种策略来标注数据，探讨了两种策略的优劣，并且借助仇恨言论数据的标注实验来说明两种策略的不同。

Dec, 2021

众包标注群体真相的经验方法学

本篇文章提出了使用 CrowdTruth 衡量指标来有效地收集多领域多任务的 ground truth 数据，比传统的投票方式更具优势，并研究了人数增加对标注质量的影响。

Sep, 2018

不确定基础真相下的 AI 系统评估：皮肤病学案例研究

文章提出了一种新的框架，通过对可能性进行后验推理的方式来聚合多个标注者的标注结果，并提供了适用于不确定性的结果评估指标，使得评估模型更准确地反映了真实的预测能力。

Jul, 2023

基于人的感知的多模态模型的个体对齐的 POV 学习

通过整合个体感知信号来提高个体用户与机器学习系统之间的相互适应对个体预测性能具有宝贵的启示，不仅可以提高个体用户的整体预测性能，还可以推动人工智能系统朝着每个人的个性化期望和价值导向发展。

May, 2024

无 (地) 真相：人工智能决策中代理标签的因果框架

本研究开发了一种因果关系框架，以阐明代理标签的有效性以及先前建模工作所假定的隐含假设并推荐验证这些假设是否符合实践的评估策略，进一步讨论了未来研究中更好地解决目标变量偏差的机会。

Feb, 2023

SemEval-2023 任务 11 的 iLab：建模分歧还是建模不同观点？

使用现有多任务模型评估并结合模型仿真方法与个体标注者观点来预测个体标注者的不一致性，得出具体少数观点的模型更适用于模型预测。

May, 2023

从不同角度看问题：探索关于声明的多元视角

论文探讨信息革命的一个关键后果是信息供应的大量增加和污染。我们提出了一个基于自然语言理解的任务，即建立一个包含主张、观点和证据段落的数据集，以便更好地理解有争议的问题。通过在线辩论网站、搜索引擎和众包，本研究构建了名为 PERSPECTRUM 的数据集，用以解决主张的支持观点的发现，具有挑战性和机遇性。

Jun, 2019