ACLFeb, 2024

医疗索赔是否可验证的因素分析：实体和关系特性对事实验证的影响

PDF
TL;DR通过研究实体和关系，分析其属性对生物医学主张的可验证性的影响；运用经过训练的专家对生物医学主张进行证据搜索，以构建包含三元组、证据文档和事实核查结果的科学事实验证语料库（BEAR-Fact corpus）；研究表明，查找否定性主张的证据极具挑战性，并且域内专业知识对注释的可靠性没有显著影响；最后，仅仅通过主张文本即可可靠地估计证据检索的成功率，而确定不可验证的主张则更加困难。
发现论文，激发创造
  • 开放领域科学主张验证的知识源对比

    本研究通过一系列实验测试了开放领域的声明验证系统的性能，在不同设置下使用三个常见知识来源（PubMed、Wikipedia、Google）和两种不同的信息检索技术，对四个生物医学和健康声明的最终预测进行了测试。结果显示，对于专门的生物医学声明，PubMed 表现更好，而对于日常健康问题，Wikipedia 更适合；而在检索精度方面，BM25 表现出色，而在相关证据的回收方面，语义搜索更具优势。在讨论结果、概述频繁的检索模式和挑战，并提供有前途的未来方向。

    Feb, 2024

  • 基于实体的论述表达方式提高推特中医疗内容的事实核查

    为使社交媒体上的用户生成内容可以通过现有模型进行事实核查，本文提出了一种利用关联实体信息来压缩含有主题实体、关系和客体实体三元组成的声明式陈述或提取最短包含这些元素的短语的方法，其可提高各种验证模型的性能。

    Sep, 2022

  • 验证科学主张：事实或虚构

    科学的论断验证是一个新的任务，其目的是从研究文献中选择包含支持或驳斥给定科学论断的摘要，并确定证据。为了研究这个任务，我们构建了 SciFact 数据集，其中包括 1.4K 个专家撰写的科学论断，以及用标签和论据注释的含有证据的摘要。我们开发了 SciFact 的基线模型，并证明简单的领域适应技术可以大大提高性能，并能够使用 CORD-19 语料库鉴定与 COVID-19 相关的声明。我们的实验表明，SciFact 将为设计用于检索和推理包含专业领域知识的语料库的新系统提供具有挑战性的测试平台。

    Apr, 2020

  • 基于证据的现实世界信息需求验证

    论文介绍了一种新的认领审核数据集，其中包括来自搜索引擎查询的实例，共包含 10,987 个带有证据的主张，证据来自完整的维基百科文章，注释具有章节和句子级别的细粒度，通过总体评估，作者发现使用证据提取来总结最终用户的理由时，预测主张真实性的准确性并没有明显差异，此数据集还存在挑战性问题，作者在转移学习实验中进行了证明

    Apr, 2021

  • RerrFact: 用于科学论述验证的减少证据检索表示

    通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

    Feb, 2022

  • 面向实际生物医学事实核查的基于实体的索赔提取管道

    通过实验表明，采用实体链接技术的命名实体识别方法可有效提高医疗推文中的事实核查性能。

    Apr, 2023

  • 再读一遍：通过重新审视证据实现忠实可解释的事实验证

    提出了一种名为 “ReRead” 的验证模型，旨在通过训练证据检索器来获取可解释证据，并通过验​​证理财顾问提高准确性，从而达到提高验证性能的目的。

    May, 2023

  • FEVEROUS: 面向结构化和非结构化信息的事实提取与验证

    本文提出了针对机器学习和自然语言处理领域中问题验证的一个新数据集和一个基线模型，数据集包含了包括非结构化文本和结构化表格在内的 87026 个证明，并详细描述了数据集中存在的偏见及模型的防范措施。

    Jun, 2021

  • 事实提取与验证综述

    本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

    Oct, 2020

  • ClaimVer: 文本的可解释的声明级验证和证据归属通过知识图谱

    介绍了一个人本中心的框架 ClaimVer，通过生成丰富的注释来满足用户的信息和验证需求，减少认知负荷，清晰地验证每个声明，提供清晰简明的解释，增强了广泛应用于各种下游任务的适用性。

    Mar, 2024