本研究提出了一种用于聚合序列标记的贝叶斯方法，该方法通过对注释者的误差和模拟注释的困难度进行建模，有效地减少了常见的跨度注释错误。 通过在命名实体识别，信息抽取和论证挖掘方面进行 crowdsourced 数据的评估，表明我们的序列模型优于以前的现有技术，并且可以通过更有效的主动学习来降低众包成本。

Nov, 2018

本文提出了一种无监督的概率模型来处理二元和多类标签，自动评估每个标注者的实例可靠性和每个实例的正确标签。实验结果表明，该方法不仅可以准确评估不同实例上的标注者可靠性，而且在预测正确标签和检测最不可靠的标注者方面也能够实现优于现有技术的性能。

May, 2019

本文重新实现并评估了 18 种检测可能存在的注释错误的方法，并在 9 个英文数据集上进行了评估，同时提供了评估协议和实现的开源软件包，以促进未来的研究和再现性。

Jun, 2022

本文提出Sparse Probability of Agreement（SPA）的概念，以估计当没有所有标注-项目对可用时的协议概率，并提供多种加权方案处理不同程度标注的数据，其可成为无偏估计器。

Aug, 2022

本文提出了一种用众包实现数据序列标注的方法——SA-SLC，采用了条件概率模型和可靠性估计等技术优化标注结果，实验结果表明该方法是有效的。

Sep, 2022

该研究提出使用 intra-annotator agreement 衡量标签稳定性，通过 exploratory annotation experiments 探索其与主观性和歧义性之间的关系，为自然语言处理任务提供重要的质量控制。

Jan, 2023

本文讨论了Inter-Annotator Agreement作为一种标签一致性的计量方式，在实际应用中的角色和含义，同时也提出了多种考虑和潜在问题，并建议有效的应对策略。

Jun, 2023

通过校准概率与自然语言推理模型一致性得分之间的关系，我们提出了一种改进抽象文本摘要模型的方法，该方法确保所生成的摘要更加一致且质量更高。

Oct, 2023

通过引入综合评估标准，研究本文对两个大型语言模型和一个预训练语言模型在三个数据集上进行的不确定性估计能力的评估表明，多个不相关的自然语言生成指标和多样化的不确定性估计方法对于可靠高效地评估 UE-TS 技术至关重要。

Jun, 2024

我们提出了一种诊断提示稳定性的通用框架，通过采用传统的内部和外部编码者可靠性评分方法，并提供了一个名为PromptStability的Python包来估计提示稳定性得分（PSS）。通过使用六个不同的数据集和十二个结果，我们对超过150,000行的数据进行分类以：a）诊断提示稳定性较低的情况；和b）展示该包的功能。最后，我们提供了应用研究人员的最佳实践建议。

Jul, 2024