从野外获取证据进行的复杂索赔验证
该研究旨在改善自动事实核查系统,并尝试将原始文档的全文作为证据,并引入了两个丰富的数据集。实验证明,即使没有标注黄金证据句子,包括原始文档在内的证据可以提供足够的上下文线索,该系统能够在不同的设置下显著提高最佳报告模型的精度。
May, 2023
论文介绍了一种新的认领审核数据集,其中包括来自搜索引擎查询的实例,共包含 10,987 个带有证据的主张,证据来自完整的维基百科文章,注释具有章节和句子级别的细粒度,通过总体评估,作者发现使用证据提取来总结最终用户的理由时,预测主张真实性的准确性并没有明显差异,此数据集还存在挑战性问题,作者在转移学习实验中进行了证明
Apr, 2021
通过提取和融合来源摘要的相关证据理由,提出了一种调用二分类序列逐个进行预测子任务的模块化方法,从而实现科学主张的自动验证,包括验证支持和反驳证据,该方法名为 RerrFact,并平台竞争 SciFact 排行榜。
Feb, 2022
提出了一种名为 “ReRead” 的验证模型,旨在通过训练证据检索器来获取可解释证据,并通过验证理财顾问提高准确性,从而达到提高验证性能的目的。
May, 2023
本研究通过一系列实验测试了开放领域的声明验证系统的性能,在不同设置下使用三个常见知识来源(PubMed、Wikipedia、Google)和两种不同的信息检索技术,对四个生物医学和健康声明的最终预测进行了测试。结果显示,对于专门的生物医学声明,PubMed 表现更好,而对于日常健康问题,Wikipedia 更适合;而在检索精度方面,BM25 表现出色,而在相关证据的回收方面,语义搜索更具优势。在讨论结果、概述频繁的检索模式和挑战,并提供有前途的未来方向。
Feb, 2024
该论文提出了 GERE,一个通过生成方式检索证据的系统,以解决事实验证中的技术难题,即减少存储和计算成本,捕捉文档和句子之间的依赖关系,动态地选择每个索赔的相关证据,超越现有技术基线。
Apr, 2022
我们提出了针对事实检查领域的常见问题的改进算法,包括对传统的 retriever-reader 模型的性能下降问题的改进,以及对 reader 组件的改进,通过对 claims 和 evidence documents 的无序性进行训练,从而提高对分布偏移的鲁棒性。此外,我们还提出了一种自动方法来构建多主题事实检查数据集,并将我们的模型与一组强大的基准模型进行比较。
Mar, 2024
科学的论断验证是一个新的任务,其目的是从研究文献中选择包含支持或驳斥给定科学论断的摘要,并确定证据。为了研究这个任务,我们构建了 SciFact 数据集,其中包括 1.4K 个专家撰写的科学论断,以及用标签和论据注释的含有证据的摘要。我们开发了 SciFact 的基线模型,并证明简单的领域适应技术可以大大提高性能,并能够使用 CORD-19 语料库鉴定与 COVID-19 相关的声明。我们的实验表明,SciFact 将为设计用于检索和推理包含专业领域知识的语料库的新系统提供具有挑战性的测试平台。
Apr, 2020
基于大型语言模型,从网络中自动检索和总结证据,以解决可解释的事实检查系统中提供足够和相关证据的挑战,并通过 RU22Fact 构建一个新颖的多语言可解释的事实检查数据集,基于该数据集开发出了一个端到端的可解释的事实检查系统,实验结果表明优化的证据可以提高事实检查性能,并显示端到端声明验证和解释生成任务有进一步进展的可能性。
Mar, 2024
我们提出了一种基于自回归公式的检索和重新排序方法,该方法用自然逻辑为基础,使用证明系统动态终止检索过程,同时使用比竞争系统少 5 到 10 倍的记忆,对 FEVER、HoVer 和 FEVEROUS-S 等数据集具有与当前最先进方法相当的性能。
Dec, 2022