factual inconsistency | BriefGPT

关键词factual inconsistency

搜索结果 - 8

SemEval-2024 任务 2：临床试验安全的生物医学自然语言推理
提出 SemEval-2024 任务 2：用于临床试验的安全生物医学自然语言推理，旨在挑战大语言模型在干预和因果推理任务方面的能力，并提供方法和结果的全面评估，以促进医疗保健领域中自然语言推理模型的鲁棒性和适用性，确保在临床决策中更安全可靠
PDF3 months ago
在大语言模型时代的摘要一致性评估
自动产生的摘要与源文件的实际不一致可能导致错误信息或存在风险。现有的实际一致性（FC）指标受性能、效率和可解释性的限制。大型语言模型（LLM）的最新进展在文本评估方面表现出了显著的潜力，但其在总结中评估 FC 的效果尚未充分探索。本文首先通
PDF5 months ago
摘要中事实不一致的识别：向大型语言模型的有效利用迈进
通过零样本策略，本研究提出并评估了三种方式来解决实际的矛盾检测问题，并研究了如何精简高效且功效强大的大型语言模型。实验结果表明，适当设计的范式可以使大型语言模型在无需训练的情况下解决此问题，平均超越强训练基线 2.8％。为了进一步提高实用性
PDF5 months ago
KDD基于神经模型的事实不一致分类及解释
本文提出一种基于物理学的方法，正式定义了文本中五种事实不一致的类型，并依此将一些文章注释为数据集。我们使用这个数据集来训练一个神经模型，以预测在 (索赔、上下文) 句对中的矛盾类型和矛盾实体类型 (当矛盾是由实体引起时)
PDFa year ago
ChatGPT 作为抽象文本摘要的事实不一致性评估器
通过对 ChatGPT 在零 - shot 设置下执行对粗粒度和细粒度事实不一致性评估任务，结果表明 ChatGPT 在三个任务的 6/9 数据集上优于先前 SOTA 评估指标，具有评估事实不一致性的潜力。
PDFa year ago
mFACE: 多语言事实一致性评估自动摘要
本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果，针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。
PDF2 years ago
ACL通过生成文档级别 NLI 实例识别摘要中的事实不一致性
本文研究了神经抽象摘要模型在生成的摘要与其原文存在事实上的不一致可能性，提出使用 NLI 模型进行辨别以及如何借助数据生成来提升辨别效果，最终使用 Falsesum 数据集完成了四个基准测试并有所提升。
PDF2 years ago
EMNLP抽象文本摘要的多因素校正
本论文提出了一种名为 Span-Fact 的技术，通过单一或多重遮盖策略，利用问题解答模型从系统生成的摘要中选择语义上一致且保留形式结构的实体，从而提高了系统生成的摘要的事实一致性和质量。
PDF4 years ago