Apr, 2024

主张验证的最小证据组识别

PDF
TL;DR在本文中，我们正式定义并研究了用于声明验证的最小证据组（MEGs）的识别问题，提出的方法在 WiCE 和 SciFact 数据集上相对于 LLM prompting 分别取得了 18.4% 和 34.8% 的绝对改进，并展示了 MEGs 在声明生成等下游应用中的好处。
claim verificationevidence aggregationminimal evidence groupsset cover problemdownstream applications
发现论文，激发创造
  • 基于证据的现实世界信息需求验证

    论文介绍了一种新的认领审核数据集，其中包括来自搜索引擎查询的实例，共包含 10,987 个带有证据的主张，证据来自完整的维基百科文章，注释具有章节和句子级别的细粒度，通过总体评估，作者发现使用证据提取来总结最终用户的理由时，预测主张真实性的准确性并没有明显差异，此数据集还存在挑战性问题，作者在转移学习实验中进行了证明

    Apr, 2021

  • 从野外获取证据进行的复杂索赔验证

    本文提出了一种完全自动化的流水线，通过从 Web 检索原始证据来检查实际世界中的索赔，结果表明，我们的流水线可以提供可靠且相关的证据摘要，从而帮助事实检查员甄别真假索赔。

    May, 2023

  • 面向题目感知的证据推理和立场感知的聚合用于事实核查

    该研究提出了一种主题感知证据推理和立场感知集成模型来更准确地验证事实，重点在于检查索赔和证据之间的主题一致性，维护多个证据之间的主题连贯性，确保全局主题信息和证据的语义表示之间的语义相似性，并基于证据对索赔的隐含立场聚合证据。

    Jun, 2021

  • 弱监督和半监督证据提取

    本文介绍了一种结合少量证据注释和大量文档级别标签的新方法，用于证据提取任务，同时对两个包含证据注释的分类任务进行评估，发现我们的方法优于在解释性文献适用的基线方法。将少至百个证据注释运用到该方法中可得到显著收益。

    Nov, 2020

  • 基于图的聚合证据和推理的事实验证

    本文提出了一种基于图的证据汇聚和推理（GEAR）框架，可以从多个证据中提取信息，并利用 BERT 模型进一步提高性能，最终在 FEVER 基准测试集上取得了 67.10% 的测试分数。

    Jul, 2019

  • 自动事实提取和验证的分层证据集建模

    该论文提出了基于分层证据集建模的自动事实提取和验证框架 (HESM)，该框架可以在不同层次上对事实和证据集进行编码和关注，并可对一个声明进行支持、反驳或不充分信息的验证。实验结果表明，HESM 在事实提取和声明验证方面优于 7 种现有方法。

    Oct, 2020

  • RerrFact: 用于科学论述验证的减少证据检索表示

    通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

    Feb, 2022

  • 面向去偏置事实验证模型

    在研究中，我们发现在常见的 FEVER 数据集中，仅针对声明的分类器与最佳证据感知模型具有相似的性能。为了解决这种现象，我们开发了一个评估集并引入了一种正则化方法以减少训练数据中偏差的影响，并取得了进展。该工作是朝着更加可靠地评估事实验证模型的推理能力迈出的一步。

    Aug, 2019

  • 聚合成对语义差异用于少样本场景下的索断真实性分类

    本文提出了一种基于向量的新颖 few-shot 分类方法，使用 pairwise 语义差异来建立类别代表向量，与现有的竞争基准相比，实验证明在自动事实检查环节准确率有显著提升。

    May, 2022

  • QMUL-SDS 在 SCIVER 上的科学主张验证的逐步二分类

    本文介绍了 QMUL-SDS 团队在科学主张验证方面的参与，提出使用二进制分类逐步进行科学主张验证的方法，利用 BioBERT-large 分类器在检索摘要和检索摘要后选择理由，然后采用两步预测方法预测标签，相较于基准系统，在开发集上获得了实质性的改进，使得团队在排行榜上排名第四。

    Apr, 2021