factual consistency | BriefGPT

关键词factual consistency

搜索结果 - 36

基于大型语言模型的事实对话摘要
通过使用符号知识蒸馏方法改善小型预训练模型的事实一致性，我们在对话摘要中取得了更好的事实一致性，同时保持了连贯性、流畅性和相关性。
PDF14 days ago
ACLFIZZ：Zoom-in 摘要和 Zoom-out 文档的事实不一致性检测
通过细粒度原子事实分解，我们提出了一种基于摘要和文档的高效、可解释的事实不一致检测方法，这些原子事实代表了更细粒度的信息单元，促进了摘要的详细理解和可解释性。实验结果表明，我们提出的事实一致性检测系统明显优于现有系统。
PDF3 months ago
ACL简洁有利于提高事实一致性的自动评价
我们研究了 AlignScore 数据集，并发现使用较少的数据点实际上可以提高性能，因此我们使用 10％的数据集训练了一个改进的模型 LIM-RA，该模型在四个基准测试中表现出卓越的性能，成为新的最先进基准模型。
PDF3 months ago
SIFiD：基于 LLM 的摘要事实不一致检测再评估
使用大型语言模型进行概要不一致性检测的研究，通过对比 GPT-3.5 和 GPT-4 的性能，我们提出了 SIFiD（使用过滤文档进行概要不一致性检测），该方法通过自然语言推理或度量概要与文档之间的语义相似性来识别文档中的关键句子。
PDF4 months ago
SYNFAC-EDIT：临床摘要的事实对齐的合成模仿编辑反馈
本研究利用 GPT-3.5 和 GPT-4 生成高质量的反馈，以提高临床笔记摘要的事实一致性，主要关注医学专业人员优化人工智能系统输出的实际场景，通过两种不同的对齐算法（DPO 和 SALT）基于 GPT 的编辑反馈，致力于减少幻觉并与医学
PDF4 months ago
TofuEval: 评估 LLL 在主题焦点对话摘要的虚幻现象
单个文档新闻摘要在保真度方面取得了显著进展，但我们提出一种新的评估基准，研究在以话题为焦点的对话摘要领域中存在的事实一致性问题和虚构错误类型。
PDF4 months ago
通过数据提炼和条件生成填空改进抽象摘要的事实错误修正
提出一种基于条件生成填空任务的新型事实错误修正模型 FactCloze，通过多维度评估生成更忠实的摘要数据集 SummDSC，实验证实了该方法的有效性，相比基线方法，在多个事实一致性指标上有所改进。
PDF5 months ago
AMRFact: 使用 AMR 驱动的训练数据生成方法增强摘要事实性评估
通过将正确摘要解析为 AMR 图并注入有控制的事实不一致性来生成负样本，AMRFact 提出了一种新的框架，使得能够以高错误类型覆盖率生成连贯的事实不一致摘要，从而在抽象化摘要中评估事实性方面表现出明显的优势。
PDF8 months ago
EMNLP规模、检索增强与形式对语言模型事实一致性的影响
大型语言模型（LLMs）在提供事实知识方面具有自然的界面，但它们的有用性受到其倾向于给出不一致答案的限制。本文识别不一致性的潜在原因，并评估两种缓解策略的效果：扩展和使用检索语料库增强 LM。我们在 LLaMA 和 Atlas 模型上的结果
PDF8 months ago
EMNLP大型语言模型是否可靠的评判者？一个关于 LLM 事实性评估能力的研究
本研究旨在探讨大型语言模型作为可靠的评估器，用于评估文本生成模型生成的摘要的事实一致性，并发现其在事实性评分中的局限性。
PDF8 months ago
提高文本摘要的事实一致性：通过对 L 软件理解与装饰能力进行对抗解耦
本文提出了一种基于对抗解耦的方法（DECENT），旨在提高大型语言模型（LLMs）的文本摘要的准确性和可靠性，以克服其在生成摘要时出现的谬误和虚假细节的问题。
PDF8 months ago
通过知识增强和对齐提升基于知识的对话系统的事实一致性
PLMs 基于知识驱动的对话系统存在生成与提供的知识源不一致的回应问题，本文通过知识增强和对齐两种方法有效提升了前馈网络（FFNs）在回应中表达事实知识的能力，验证了提升知识驱动对话系统的事实一致性的有效性。
PDF9 months ago
LongDocFACTScore: 长文本摘要的事实评估
维护事实一致性是抽象文本摘要中的关键问题，传统的自动度量标准无法评估它，最近的研究致力于使用预训练语言模型开发改进的度量方法，但这些度量方法存在令人限制的标记限制，因此不适用于长文档摘要评估。本研究评估了自动度量标准在长文档摘要中评估事实一
PDF9 months ago
总结（几乎）已死
大型语言模型在总结任务中表现出令人满意的性能，超过了参考摘要的基准，人类评估者明显偏好大型语言模型生成的摘要而不是人工撰写的摘要和经过微调的模型生成的摘要，因为大型语言模型生成的摘要具有更好的事实连贯性和更少的外在幻觉实例。
PDF10 months ago
文本对齐是一种用于大规模自然语言处理任务的高效统一模型
提出了一种以文本对齐为基础的轻量级模型，用于广泛的文本蕴含、相似性、问答、事实一致性等关键任务，并通过轻量级调优方法，在具有较少参数的情况下达到相媲美或超过传统模型的性能，在评估文本生成的事实一致性和问答任务中表现优异。
PDFa year ago
ACL使用文本蕴含反馈的强化学习实现事实一致性摘要
本文介绍一个基于文本蕴涵模型和强化学习的方法，用于优化提取式摘要的准确性和一致性，并在自动度量和人类评估上显示出较好的性能。
PDFa year ago
ACLAlignScore: 用统一的对齐函数评估实际一致性
本文提出了一个新的综合指标 AlignScore，基于信息对齐来评估各种实际不一致性场景，包含了 7 个知名任务的 4.7M 数据来源的统一训练框架，重点在于我们进行了大量的实验，得出 AlignScore 在测试中的显著优势，且能够匹敌比
PDFa year ago
RCOT：通过逆向思路链来检测和纠正推理中的事实不一致性
本文提出了一种新方法 RCoT，通过自动检测和纠正 LLMs 生成的解决方案中的事实不一致性，以 fine-grained feedback 指导 LLMs 修改解决方案，从而改进 LLMs 在算术推理任务中的推理能力。实验结果表明，RCo
PDFa year ago
KDDFactReranker: 面向忠实放射学报告摘要的基于事实引导的重排器
该研究旨在通过使用 FactReranker 技术，提高医学报告自动摘要的真实性，并通过对医学事实的提取和排名，实现对候选人摘要的最佳选择。
PDFa year ago
WeCheck：基于弱监督学习的强事实一致性检查器
本文提出了一种弱监督框架 WeCheck，通过聚合多个资源进行训练，提高了文本生成模型的真实性度量。在多项任务上进行的综合实验表明，WeCheck 在 TRUE 基准测试中的表现优于现有的最先进方法，平均提高了 3.4％。
PDF2 years ago