本研究使用自动排名法大幅减少专家评估的数量，并在英语中测试了该方法对具有较小样本的具体 / 抽象单词字典自动生成的可行性和准确性，结果表明构建的字典质量和专家手动构建的字典相当且预测和专家排名之间的相关性高于现有方法。

Jun, 2022

本研究旨在探讨如何自动计算多模态训练数据中的单词与主题的视觉具体性以此来预测机器学习算法学习文本与视觉关系能力的高低。研究发现具体概念确实比抽象概念更容易学习，且不同数据集中视觉具体性与算法表现之间的关系是有所不同的，建议在多模态研究中使用视觉具体性评分以便更好地探索概念。

Apr, 2018

通过提出争议分析框架以测量不同评分人群的系统多样性，研究领域的人口统计轴线对安全批注至关重要。

Nov, 2023

本文讨论了人工评价与自动评价在文本摘要中的应用，并提出了评价指标间的差异和相关性。研究发现评价指标的互相协议性取决于摘要的得分范围、摘要易于摘要的程度、摘要抽象程度和覆盖范围等方面。

Nov, 2020

我们提出了一种新的度量标准 —— 图像标题具体性，用于在多模态学习中评估无图像参考的标题文本的具体性和相关性，该方法利用强基模型衡量多模态表示中的视觉 - 语义信息损失，我们证明这与人类对单词和句子级文本具体性的评估强相关，同时我们展示出使用图像标题具体性进行筛选可以在资源受限环境中选择最高质量的样本，以进行高效训练。

Mar, 2024

在线空间中的毒性问题是一个日益普遍且严重的问题，因此，过去十年的机器学习研究重点放在计算检测和缓解在线毒性上。然而，由于历史上此类标注往往存在较低的一致性，最近的研究指出了在构建和利用这些数据集时考虑这一任务的主观性的重要性，并激发了对评定者不一致性进行分析和更好理解以及如何将其有效纳入机器学习开发流程的研究。虽然这些努力填补了重要的空白，但缺乏更广泛的评定者不一致性根本原因的框架，因此我们将这项工作置于更广泛的背景之上。在这篇综述论文中，我们分析了关于在线毒性评定者不一致性原因的大量文献，并提出了详细的分类法。此外，我们还总结和讨论了针对每个不一致性原因的潜在解决方案，并讨论了几个能促进未来在线毒性研究发展的开放问题。

Nov, 2023

该研究提出使用 intra-annotator agreement 衡量标签稳定性，通过 exploratory annotation experiments 探索其与主观性和歧义性之间的关系，为自然语言处理任务提供重要的质量控制。

Jan, 2023

人类判断文本情感内容时，情感强度影响了他们的自信程度，影响了标注结果的一致性，而这一现象对情感强度的建模有重要影响。

Mar, 2021

法律 NLP 中的案件结果分类不仅需要准确性，还需要可信度和可解释性。我们提出了一个新的数据集 RAVE：欧洲人权法上的理由变异，收集了两位专家在国际人权法领域的评估，发现他们在评估案例事实上存在差异。我们建立了一个两层次的与任务无关的分类系统，并补充了与案例结果分类相关的子类别。我们定量评估了不同分类系统的性能，并发现观点分歧主要源于法律背景的不明确，这在案件结果分类的元数据中是有限的。我们进一步评估了最先进的案件结果分类模型在 RAVE 上的可解释性，并观察到模型与专家之间的一致性有限。总的来说，我们的案例研究揭示了在法律 NLP 中创建基准数据集所涉及的复杂性，重点是确定与案件结果相关的方面。

Oct, 2023

本文研究自动摘要的抽象程度与准确度之间的权衡，提出了控制抽象程度的技术，并使用全面的人工评估方法，在多个广泛研究的数据集上表征抽象 - 准确度权衡关系，提出了新的量化措施，并以此与以前的作品对比基线。

Aug, 2021