本研究比较了评分尺度方法和最佳 - 最差比较法在数据注释中的可靠性，结果表明，在相同的标注总数量下，最佳 - 最差比较法比评分尺度方法产生了更可靠的结果。

Dec, 2017

本文提出了一种利用自然语言解释对大型语言模型进行训练的方法，通过收集一致性注释来标记数据，以及利用该方法对大型语言模型进行训练，从而提高标注数据的质量。

May, 2023

本文介绍使用 Best-Worst Scaling 技术获取三个不同领域（一般英语，英语 Twitter 和阿拉伯语 Twitter）中单词和短语的情感关联分数，并确定了一种语言本土人民可以感知的情感关联最小差异。

Dec, 2017

人类判断文本情感内容时，情感强度影响了他们的自信程度，影响了标注结果的一致性，而这一现象对情感强度的建模有重要影响。

Mar, 2021

通过新的基于模型的方法，我们提出了一种在多任务场景中为每个文本选择逐个注释的任务的方式，从而最大程度地减少注释数量，并且几乎不损失知识，同时还强调了根据注释任务的主观性收集多样化数据以有效训练模型的需求，并通过在单任务和多任务场景中评估模型来衡量主观任务之间的关系，此外，对于某些数据集，仅依靠我们模型预测的标签进行训练，可作为自监督学习规范化技术，提高任务选择的效率。

Dec, 2023

本文旨在研究从文本中检测情感强度的任务。我们创建了第一个标记有愤怒、恐惧、喜悦和悲伤强度的推文数据集，并使用最佳 - 最差比例（BWS）技术提高注释一致性和获得可靠的细粒度分数。我们发现情感词 hashtag 通常会影响情感强度，通常传达更强烈的情感。最后，我们创建了一个基准回归系统，并进行实验，以确定哪些特征对于检测情感强度有用，以及两种情感在语言表现方面的相似程度。

Aug, 2017

使用 SeedBERT 方法从单个标签中恢复注释者评分分布来解决机器学习中的主观性问题，并且在下游主观任务中与其他模型相比表现出显着的性能提升。

Nov, 2022

该研究分析使用不同语言的大量手动标记的推文作为训练数据构建自动分类模型时，训练数据的质量和数量对于分类模型的质量比所使用的模型类型更为重要，并且当训练集的大小足够大时，模型的性能接近于标注者一致性，但定期监视标注者的一致性是非常重要的，从而改善训练数据集和模型性能，最后我们还表明，有强有力的证据表明，人们认为情感类别（消极的，中性的和积极的）是有序的。

Feb, 2016

本研究旨在研究情感表示的两种范式：分类标签和连续空间中的维度描述，并提出一种仅使用维度标注的分类流程。该方法基于回归器模型，可以预测给定语音音频的维度表示的连续值向量，进而使用映射算法将其解读为情感类别。我们研究了三种特征提取器，三种神经网络结构和三种映射算法在两个不同的语料库上的绩效。研究表明，分类回归方法具有优势和局限性。

Oct, 2022

旨在全面涵盖多样性的标注任务中，仅依赖于大多数类别标签的模型可能会无意中忽视宝贵的少数派观点，因此需要探索各种标注者建模技术的有效性，并比较它们在七个语料库中的性能。通过研究发现，常用的用户标记模型始终胜过更复杂的模型，并引入了一种复合嵌入方法，展示了模型性能与给定数据集的一致性之间的明显差异。这些发现揭示了语料统计和标注者建模性能之间的关系，为语料构建和多视角自然语言处理的未来工作提供了启示。

Apr, 2024