本研究探讨自然语言推理中的不一致性注释是如何产生的，并识别了 10 种引起不一致的原因，其中某些不一致是由于句子意义的不确定性，而另一些则是由于注释者偏见和任务工件的存在。我们通过两种建模方法来检测存在潜在分歧的文本项目：一个比标准 NLI 标签多一个 “复杂” 标签的四分类方法，和一个多标签分类方法。我们发现多标签分类方法更具表现力，并对数据的可能解释提供了更好的召回率。

Sep, 2022

本文系统地比较了将事实性分值应用于分解的不同粒度，并表明不是所有数据集都适用于将上下文信息集成到模型中的方法。

Nov, 2022

本研究介绍了一种名为 NEAT 的新型 NLP 任务，针对新闻等信息文本，基于 Labov 和 Waletzky 的叙事理论设计了一种新的多标签叙事注释方案，标注了从多种类别域收集的 46 篇新闻文章中的 2,209 句子，并训练了多个监督模型进行不同设置的分类，成功地识别了不同的叙事元素，并达到了高达 0.77 的 F1 分数，表明该研究具有很好的全面性及对域类别的鲁棒性。

Oct, 2022

通过提取注释者在五个主观数据集中的选票历史中的不同意标签，并微调语言模型来预测注释者的不同意。结果表明，了解注释者的人口统计信息可以帮助预测不同意见。通过模拟不同的注释者人工人口统计信息，来区分文本内容固有的争议和注释者不同观点之间的分歧，旨在通过一种新颖的分歧预测机制，改进注释流程，实现更高效和包容性的 NLP 系统。

Jan, 2023

该研究提出使用 intra-annotator agreement 衡量标签稳定性，通过 exploratory annotation experiments 探索其与主观性和歧义性之间的关系，为自然语言处理任务提供重要的质量控制。

Jan, 2023

使用现有多任务模型评估并结合模型仿真方法与个体标注者观点来预测个体标注者的不一致性，得出具体少数观点的模型更适用于模型预测。

May, 2023

本文介绍了利用 CompRes 数据集进行新闻媒体叙述结构自动检测的任务，并从叙述理论中采用新的故事要素，通过有监督模型训练，实现了 $ F_1 $ 得分高达 0.7。

Jul, 2020

通过扩展现有叙事理论和开发注释方案的方式，对 360 个网络短篇故事进行标注，为实现系统与人类进行复杂的交流提供帮助。

Oct, 2017

通过研究多注释者模型的功效，我们的多任务方法将预测每个注释者的判断作为单独的子任务并共享任务的共同学习表示来解决注释者间的不一致性问题，并且表明这种方法比在训练之前聚合标签的方法在七个不同的二元分类任务中产生了相同或更好的性能。此外，在我们的方法中，我们证明我们可以估计不确定性，这些不确定性更好地与注释不一致性相关联，而这种模型不确定性特别适用于知道何时不作出预测的部署场景。

Oct, 2021

该研究探讨了使用细分搜索解决情节生成问题的可能性，并提出了一种新型的细分搜索规划算法，可以创建具有因果关系的情节进展，并在识别可能的角色目标和创建计划结构方面解释为什么这些角色承诺他们的目标。结果表明，IPOCL 算法生成的叙述计划比传统的部分顺序规划器生成的计划更能支持观众理解角色意图。

Jan, 2014