本文提出系统研究 faithfulness metrics 在对话摘要任务上的应用，发现对于绝大部分度量方法而言，在对话数据上的表现与人类判断的相关性较差。为了提高 faithfulness metrics 在对话摘要任务上的性能，我们还采用了 fine-tuning on in-domain dataset 和 unlikelihood training on negative samples 等技术。最后提出 T0-Score 度量方法，其在多个领域上均能稳定提高评价性能。

Nov, 2022

通过对虚构书籍的长篇小说生成概述的大规模人类评估，本论文揭示了长篇大语境语言模型在生成摘要时的忠实度和内容选择方面的问题，并且提出了检测生成的摘要中不忠实内容的重要性，同时也探讨了在书籍概述中与关键故事元素相关的遗漏错误以及朝末尾发生事件的系统过度强调。

Apr, 2024

本研究提出一个多维理解摘要的基准测试，并在其上比较了多种模型的性能，发现中等规模的微调模型在多个任务上始终优于更大的几次提示语言模型。同时发现，对于某些任务，训练数据的数量比其来源领域更重要，而对于其他任务，尽管数据量有限，但特定领域的数据更为有益。

May, 2023

本研究基于 HIV 病人的病例史，对临床文本摘要的可信度指标进行评估，从医学专业人员和患者两方面来获得实际应用价值。评估表明，大多数指标在提供与源文本相关的最小信息上，可显著提高其与人类判断的相关性。

Mar, 2023

本文介绍了利用自主重采样方法来计算置信区间和运行假设检验的方法， 并对几个自动评估度量进行了分析，发现自动评估度量的可靠性存在高度不确定性

Mar, 2021

该研究提出了一种基于自动问答的 faithfulness 评估度量方式（FEQA），并发现当前的神经抽象概括模型存在抽象度和忠实度的权衡关系。

May, 2020

这篇论文介绍了俄语语言最小对对比基准（RuBLiMP），它包含 45k 对的句子，这些句子在语法、形态、句法或语义现象上存在差异，与现有的语言最小对对比基准相比，RuBLiMP 利用了来自开放文本语料库的自动注释句子并仔细筛选测试数据。作者描述了数据收集协议，并展示了对 25 种语言模型在不同场景下的评估结果。研究发现，对于需要理解结构关系、否定、及时态的现象，俄语广泛使用的语言模型在形态和一致性方面较为敏感，但在这些现象上与人类相比存在一定差距。RuBLiMP、代码和其他材料可公开获取。

Jun, 2024

提出一种新指标 FFLM，结合基于概率变化的方法评估生成模型的忠实度，相比于强基准模型 ChatGPT 拥有更少的参数，并在不一致性检测和忠实度评分方面表现出竞争性和优越性的改进。

Oct, 2023

BLiMP 是一套挑战集，用于评估语言模型对英语中主要语法现象的理解水平。研究表明，现有模型能够可靠地识别形态对比，但在限定词和否定极性项分布以及提取岛等微妙的语法现象上仍面临挑战。

Dec, 2019

本研究手动分析了三个流行的摘要数据集中的 600 份样本，并对 27 个最先进的摘要模型和 5 个流行的度量标准进行了彻底分析。 研究揭示出数据集具有不同的数据质量和复杂度分布，对样本复杂度强烈依赖，以及基于引用文本的质量差异导致真实摘要得分偏低等关键见解。

Jun, 2021