- WeCheck:基于弱监督学习的强事实一致性检查器
本文提出了一种弱监督框架 WeCheck,通过聚合多个资源进行训练,提高了文本生成模型的真实性度量。在多项任务上进行的综合实验表明,WeCheck 在 TRUE 基准测试中的表现优于现有的最先进方法,平均提高了 3.4%。
- 关于从自然语言反馈中提高摘要的事实一致性
本文中,我们对自然语言生成功能的输出质量提出问题,通过收集人类演示和信息反馈数据集 DeFacto,我们进行了两项自然语言生成任务的研究,旨在通过实现信息反馈来提高自然语言生成模型的质量,改善与用户需求的匹配度。
- AAAICoP: 控制好偏好的事实不一致检测
该研究介绍了一种无监督的框架 CoP,通过使用文本提示,控制 Summarization 模型的偏好,从而检测出摘要与源文档之间的一致性问题,并在监督学习中进一步优化这个过程。
- 通过摘要评估大型语言模型的事实一致性
本文提出了一个新的大语言模型(LLMs)准确性检验基准,称之为 FIB(Factual Inconsistency Benchmark),并在 23 个 1B 到 176B 参数的不同模型家族中评估了其实用性。结果表明,现有的 LLMs 通 - EMNLP使用基于压缩的后编辑改善摘要中的事实一致性
本文提出了一种基于句子压缩数据的模型无关方法,旨在在保留要点和格式要求的同时消除外在实体错误,从而提高信息摘要生成中的事实一致性,并使用 XSum 数据集进行评估, 实验结果表明,在不影响 ROUGE 的情况下,本文所提出的方法可以提高实体 - EMNLPJust ClozE! 在抽象化摘要里评估事实一致性的快速简单方法
本研究提出了一种名为 ClozE 的新方法,采用基于掩码语言模型(MLM)实例化的填空模型来评估抽象化摘要与原始文本之间的事实一致性,并通过六个人工注释数据集和元评估基准 GO FIGURE 的实验表明 ClozE 相对于 QA_metri - ACL利用掩码汇总生成事实不一致摘要以改进事实一致性检查
本文提出了一种基于遮罩的方法,使用源文本和关键信息屏蔽的参考摘要来生成真实不一致的摘要,这些摘要被用于训练分类器来判断一个产生的摘要是否与源文本事实一致;在七个基准数据集上进行的实验表明,使用我们的方法生成的摘要训练的分类器通常优于现有模型 - 使用合成事实评估自动文本摘要
提出了一种新的自动文本摘要评估系统,该系统可以基于事实一致性、综合性和压缩率来测量任何文本摘要模型的质量,该评估系统是第一个基于真实性、信息覆盖和压缩率来衡量摘要模型总体质量的系统。
- ACLQAFactEval:基于 QA 的摘要事实一致性评估的改进
本文针对文本摘要模型中的事实一致性问题展开研究,对比了基于蕴含和基于问答的度量方法,并且提出了一种优化的基于问答的度量方法 QAFactEval,相较之前的方法平均提高了 14% 的 SummaC 事实一致性基准测试性能,并且在最好的基于蕴 - EMNLP通过反事实估计对文本摘要的实际一致性评估
提出一种基于反事实估算的新型度量标准,用于评估文本摘要的事实一致性,能够帮助改善与人类判断的相关性和使用的便利性。
- ACL使用逻辑机制和论证方案分类论证关系
本研究使用四种基于逻辑和理论的机制 (实际一致性、情感一致性、因果关系和规范关系) 对两个陈述之间的论证关系进行分类,证明有效地利用这些逻辑机制能够显着提高无监督贝叶斯分类器的性能,并且使用表示学习进一步改进了有监督的分类器。
- ACL通过问答提高摘要生成的事实一致性
本文提出了一种解决摘要生成模型中可能存在错误信息的方法,策略包括评估指标度量、新型学习算法、人工评估等,并通过大量实验证明该方法对提高信息事实准确性和提高摘要整体质量都非常有效。
- 抽象文本摘要中的事实不一致问题:一项调查
研究表明,使用神经编码器 - 解码器模型等抽象方法能够更好的进行生成摘要,但是由于摘要的抽象性较高,导致文章中存在失真和伪造的问题,因此当前的研究主要集中在设计新的评估算法和开发新的摘要系统以解决这一问题。本文综合评述了这些基于事实的评估方 - EMNLP$Q^{2}$:通过问题生成和问题回答评估基于知识的对话中的事实一致性
本研究提出了一种用于对话中基于知识的生成模型的事实一致性评估度量,通过结合自动问题生成和问题回答,使用自然语言推理进行回答跨度比较。在 Wizard-of-Wikipedia 数据集上,我们得到了经过人工标注的对话系统输出数据集,并对 $Q - 摘要生成模型的事实错误更正
本研究提出了一种后处理校正模块来解决神经抽象汇总系统的事实一致性问题,该模块采用预训练的神经校正模型,能够识别和修正所生成的摘要中的事实错误,并在 CNN / DailyMail 数据集上表现出比先前模型更好的事实一致性的评估结果。
- ACL提高回复和角色真实事实之间的事实一致性
通过增加奖励机制,使用强化学习方法来提高响应与用户角色特征事实之间的一致性,从而促进神经模型的响应生成能力。
- ACL摘要生成中的话语理解和事实一致性
该研究提出了一种新的基于 Transformer 的 Co-opNet 框架,旨在消除抽象摘要生成中存在的一些问题,如虚构信息,连贯性问题,流故事性等,并通过实验证明,其与竞争基线相比,具有显著的全局连贯性。