ACLFeb, 2024

开放领域科学主张验证的知识源对比

PDF
TL;DR本研究通过一系列实验测试了开放领域的声明验证系统的性能，在不同设置下使用三个常见知识来源（PubMed、Wikipedia、Google）和两种不同的信息检索技术，对四个生物医学和健康声明的最终预测进行了测试。结果显示，对于专门的生物医学声明，PubMed 表现更好，而对于日常健康问题，Wikipedia 更适合；而在检索精度方面，BM25 表现出色，而在相关证据的回收方面，语义搜索更具优势。在讨论结果、概述频繁的检索模式和挑战，并提供有前途的未来方向。
fact-checking systemsclaim verificationbiomedical and health claimsknowledge sourcesdocument retrieval
发现论文，激发创造
  • 通过可靠和时间感知的证据检索改善健康问题回答

    利用 PubMed 作为可靠的医学研究文档集合，针对开放领域的问答设置，研究通过修改检索设置来提高问答系统性能的方法。结果显示，减少检索到的文档数量，偏爱近期和被引用次数较多的文献可以提高最终的宏观 F1 得分达到 10%。

    Apr, 2024

  • SciFact-Open: 面向开放领域的科学主张验证

    本文介绍了一种新型测试集 SciFact-Open，通过信息检索中的池化技术和四种先进的科学主张验证模型的预测，评估了科学主张验证系统在 50 万个研究摘要的语料库上的表现，发现在 SciFact-Open 上进行测试要比在更小的语料库上进行测试更具挑战性。

    Oct, 2022

  • 基于证据的现实世界信息需求验证

    论文介绍了一种新的认领审核数据集，其中包括来自搜索引擎查询的实例，共包含 10,987 个带有证据的主张，证据来自完整的维基百科文章，注释具有章节和句子级别的细粒度，通过总体评估，作者发现使用证据提取来总结最终用户的理由时，预测主张真实性的准确性并没有明显差异，此数据集还存在挑战性问题，作者在转移学习实验中进行了证明

    Apr, 2021

  • 验证科学主张：事实或虚构

    科学的论断验证是一个新的任务，其目的是从研究文献中选择包含支持或驳斥给定科学论断的摘要，并确定证据。为了研究这个任务，我们构建了 SciFact 数据集，其中包括 1.4K 个专家撰写的科学论断，以及用标签和论据注释的含有证据的摘要。我们开发了 SciFact 的基线模型，并证明简单的领域适应技术可以大大提高性能，并能够使用 CORD-19 语料库鉴定与 COVID-19 相关的声明。我们的实验表明，SciFact 将为设计用于检索和推理包含专业领域知识的语料库的新系统提供具有挑战性的测试平台。

    Apr, 2020

  • 使用神经语义匹配网络结合事实提取与验证

    该论文提出了一个连接的系统，包括三个同构神经语义匹配模型，用于联合进行文献检索、句子选择和索证，以进行事实提取和验证。实验结果表明，该神经语义匹配方法在所有证据检索指标上都显著超越了常见的 TF-IDF 和编码器模型，并通过提供内部语义关联得分和词汇网特征等方法，改进了 NLI 模型的性能，从而在 FEVER 测试集上取得了最优结果。

    Nov, 2018

  • 提供更多细节：利用潜在检索改进事实核查

    该研究旨在改善自动事实核查系统，并尝试将原始文档的全文作为证据，并引入了两个丰富的数据集。实验证明，即使没有标注黄金证据句子，包括原始文档在内的证据可以提供足够的上下文线索，该系统能够在不同的设置下显著提高最佳报告模型的精度。

    May, 2023

  • 开放事实核查中基于表格的联合验证与重新排名

    本文介绍了一种结合重新排序和验证模型的开放域结构化数据自动验证方法，包括多种表格，实现了与封闭领域技术水平可比较的表现，并相对启发式检索基准有显著提升，关键词包括：结构化数据，验证方法，开放领域，联合重新排序和验证模型，TabFact 数据集。

    Dec, 2020

  • RerrFact: 用于科学论述验证的减少证据检索表示

    通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

    Feb, 2022

  • 从野外获取证据进行的复杂索赔验证

    本文提出了一种完全自动化的流水线，通过从 Web 检索原始证据来检查实际世界中的索赔，结果表明，我们的流水线可以提供可靠且相关的证据摘要，从而帮助事实检查员甄别真假索赔。

    May, 2023

  • 事实提取与验证综述

    本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

    Oct, 2020