ACLMay, 2023

AlignScore: 用统一的对齐函数评估实际一致性

PDF
TL;DR本文提出了一个新的综合指标 AlignScore，基于信息对齐来评估各种实际不一致性场景，包含了 7 个知名任务的 4.7M 数据来源的统一训练框架，重点在于我们进行了大量的实验，得出 AlignScore 在测试中的显著优势，且能够匹敌比其大数个数量级的 ChatGPT 和 GPT-4 等度量标准。
automatic evaluationfactual consistencyinformation alignmentdiverse factual inconsistenciesalignscore
发现论文，激发创造
  • 简洁有利于提高事实一致性的自动评价

    我们研究了 AlignScore 数据集，并发现使用较少的数据点实际上可以提高性能，因此我们使用 10％的数据集训练了一个改进的模型 LIM-RA，该模型在四个基准测试中表现出卓越的性能，成为新的最先进基准模型。

    Apr, 2024

  • 重新评估事实一致性评估

    TRUE 评测了多个评估度量的实际应用，并推荐大规模 NLI 及基于生成问答的方法作为模型和度量开发者的起点，以期推动更好的评估方法的进步。

    Apr, 2022

  • 评估抽象文本摘要的事实一致性

    该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

    Oct, 2019

  • 使用语义角色标注评估文本的事实一致性

    SRLScore 是一种基于语义角色标注的自动文本评估度量，适用于文本摘要，能显示出稳定的泛化性能，且可适应于不同的领域。

    May, 2023

  • 通过反事实估计对文本摘要的实际一致性评估

    提出一种基于反事实估算的新型度量标准，用于评估文本摘要的事实一致性，能够帮助改善与人类判断的相关性和使用的便利性。

    Aug, 2021

  • LongDocFACTScore: 长文本摘要的事实评估

    维护事实一致性是抽象文本摘要中的关键问题，传统的自动度量标准无法评估它，最近的研究致力于使用预训练语言模型开发改进的度量方法，但这些度量方法存在令人限制的标记限制，因此不适用于长文档摘要评估。本研究评估了自动度量标准在长文档摘要中评估事实一致性的效能，并提出了一种新的评估框架 LongDocFACTScore，该框架可以扩展到任意长度的文档。LongDocFACTScore 在评估长文档摘要数据集的事实度与人工测量结果的相关性方面优于现有的最先进度量标准。此外，我们展示了当在短文档数据集上与人工度量标准的事实一致性进行评估时，LongDocFACTScore 具有与最先进度量标准相当的性能。我们将我们的代码和注释数据公开提供。

    Sep, 2023

  • 文本对齐是一种用于大规模自然语言处理任务的高效统一模型

    提出了一种以文本对齐为基础的轻量级模型，用于广泛的文本蕴含、相似性、问答、事实一致性等关键任务，并通过轻量级调优方法，在具有较少参数的情况下达到相媲美或超过传统模型的性能，在评估文本生成的事实一致性和问答任务中表现优异。

    Jul, 2023

  • 通过摘要评估大型语言模型的事实一致性

    本文提出了一个新的大语言模型（LLMs）准确性检验基准，称之为 FIB（Factual Inconsistency Benchmark），并在 23 个 1B 到 176B 参数的不同模型家族中评估了其实用性。结果表明，现有的 LLMs 通常将更高的分数分配给事实上一致的总结，但如果不一致的总结在文档中出现，那么 LLMs 将会赋予这些不一致的总结比事实上一致的总结更高的分数。

    Nov, 2022

  • FActScore: 长篇文字生成中细粒度事实准确性评估

    本文介绍了一种评估生成模型生成的长篇文本真实性的新方法 FActScore，其中将生成的文本分解为一系列原子事实，并计算可靠知识来源支持的原子事实的百分比，从而解决了因生成的含有相关与不相关信息的问题难以进行二元评估的问题；同时，提出了一种自动模型，可以使用检索和强语言模型来估计 FActScore，最终发现 ChatGPT 只有 58% 的精度。

    May, 2023

  • 快速准确的长文档事实不一致检测

    SCALE 是一种用于检测事实不一致的任务无关模型，通过使用新的分块策略，它使用大型文本块对长文本进行条件建模，其在多种任务和长文本的事实不一致检测方面实现了最先进的性能，并通过相关源句检索来解释决策。

    Oct, 2023