面向主观多任务自然语言处理问题的基于模型的数据获取

Dec, 2023

面向主观多任务自然语言处理问题的基于模型的数据获取

Towards Model-Based Data Acquisition for Subjective Multi-Task NLP Problems

Kamil Kanclerz, Julita Bielaniewicz, Marcin Gruza, Jan Kocon, Stanisław Woźniak...

TL;DR通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

Abstract

Data annotated by humans is a source of knowledge by describing the peculiarities of the problem and therefore fueling the decision process of the trained model. Unfortunately, the annotation process for subjective natural language processing (NLP) problems like offensiveness or emotion detection is often very expensive and time-consuming. One of the inevita

data annotation subjective natural language processing multi-task scenario knowledge reduction self-supervised learning

发现论文，激发创造

通过少样本注释者适应实现成本高效的主观任务注释和建模

通过使用多样的标注员并最大限度降低标注预算，我们提出了一个新的主观任务注释收集和建模框架，通过两阶段设计，使用少量标注员和有策略地标注一些样本，提高了预测性能，并减少了注释预算，同时我们构建了一个包含 2000 个 Reddit 帖子的独特数据集，并在两个数据集上展示了我们的框架超越之前的最优结果，捕捉了标注员个体视角并减少了性能差异。

Feb, 2024

语料库考虑注释模型的建立与扩展

旨在全面涵盖多样性的标注任务中，仅依赖于大多数类别标签的模型可能会无意中忽视宝贵的少数派观点，因此需要探索各种标注者建模技术的有效性，并比较它们在七个语料库中的性能。通过研究发现，常用的用户标记模型始终胜过更复杂的模型，并引入了一种复合嵌入方法，展示了模型性能与给定数据集的一致性之间的明显差异。这些发现揭示了语料统计和标注者建模性能之间的关系，为语料构建和多视角自然语言处理的未来工作提供了启示。

Apr, 2024

主观 NLP 任务的两种对比数据注释范式

本研究提出使用描述性和规范性两种策略来标注数据，探讨了两种策略的优劣，并且借助仇恨言论数据的标注实验来说明两种策略的不同。

Dec, 2021

计算立场检测的多标签和多目标机器注释采样

研究了利用大型语言模型进行自动标注来进行计算立场检测，引入了多标签和多目标采样策略以优化标注质量，实验证明该方法能明显提高性能和学习效果。

Nov, 2023

处理意见不合：超越主观标注中的多数派投票

通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

Oct, 2021

我们在模拟任务还是模拟标注者？—— 自然语言理解数据集中标注者倾向的研究

本文通过实验展示了人群智力数据集在自然语言理解中的存在问题和缺陷，建议在数据集创建过程中监控注释者的偏见，测试集注释者应该与训练集注释者无交集。

Aug, 2019

主观学习任务中众包标注者观点的捕捉

基于主观分类任务，我们提出了适用于文本的 Annotator Aware Representations (AART) 方法，旨在改善采集标注者观点性能，并学习标注者行为特征。

Nov, 2023

揭示多注释过程：以注释数量和样本难度对模型性能的影响为例

多次注释数据集的性能分数可能会因数据集扩大，从单个注释变为多个注释而有所不同，我们的研究挑战了传统观念，表明使用多次注释的模型并不总能比使用少次或单次注释的模型具有更好的性能。

Oct, 2023

有选择性的标注使语言模型更好的少样本学习器

本文提出了一种基于在上下文学习的策略，通过选择少量有代表性的例子来进行标注，进而为新的自然语言任务创建数据集，并证明了此方法在不同场景下都具有良好的效果。

Sep, 2022

数据无罪，模型有责：理解主观标注中的噪声与偏差

研究人员提高了对聚合标签的伤害的认识，特别是在自然存在人类标注员之间存在分歧的主观任务中。本文展示了仅仅提供聚合标签的模型在高度分歧的数据实例上表现出较低的置信度。我们认为过去的研究将这些实例视为标注错误，但我们认为高度分歧的文本实例难以学习的原因是传统的聚合模型在从主观任务中提取有用信号方面表现不佳。受最近一些研究表明从原始标注中学习的有效性的启发，我们研究了使用多个真实标准的分类方法。我们的实验显示在高度分歧实例上有置信度的提高。

Mar, 2024