ACLMar, 2024

训练集以外的事实核查

PDF
TL;DR我们提出了针对事实检查领域的常见问题的改进算法，包括对传统的 retriever-reader 模型的性能下降问题的改进，以及对 reader 组件的改进，通过对 claims 和 evidence documents 的无序性进行训练，从而提高对分布偏移的鲁棒性。此外，我们还提出了一种自动方法来构建多主题事实检查数据集，并将我们的模型与一组强大的基准模型进行比较。
fact checkingveracity evaluationretriever-readeradversarial algorithmdistribution shift
发现论文，激发创造
  • 训练事实验证器的方法：多模态开放模型的知识传递

    通过知识传递策略，可以提高模型性能，从而有效验证消息的真实性，扩大网络警察机制的规模，减轻虚假和有害内容的传播。

    Jun, 2024

  • 利用外部来源实现全自动事实核查

    提出了一种使用外部来源进行全自动事实核查的通用框架，该框架利用深度神经网络和 LSTM 文本编码结合任务特定的嵌入来判断声称的真实性，并将来自 Web 的相关文本片段融合其中，考虑其来源可靠性，在两个任务和数据集上均表现不错。

    Oct, 2017

  • RerrFact: 用于科学论述验证的减少证据检索表示

    通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

    Feb, 2022

  • 多语种事实核查索引检索

    本论文提出了一个新的多语言数据集 MultiClaim，其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果，并显示对这样一个多样化的数据集进行评估具有复杂性，需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法，显著提高了非监督方法的性能。

    May, 2023

  • 基于段落的科学事实验证多任务学习模型

    本文提出了一种基于 BERT 模型的句子级多任务学习模型，可用于事实验证任务，并通过联合训练模型的理由选择和态度预测来实现反击社交媒体或新闻网站上不断传播的错误信息的目的。

    Dec, 2020

  • 基于证据的事实错误校正

    本文介绍了事实错误校正的任务和方法：通过编辑要求以便生成的改写通过证据更好地支持。使用 T5 Transformer 基于远程监督的方法，通过将证据合并到掩码声明中来训练事实错误校正系统。在一个基于最近事实验证共享任务的数据集上进行评估，结果表明我们的方法可以比现有的方法更准确地对事实错误进行校正，在人工评估中将错误校正的数量提高了 5 倍，并且 SARI 分数提高了 0.125。

    Jun, 2021

  • 基于证据的事实错误修正

    本文介绍了一个新的任务：事实错误纠正。通过将证据整合到掩码声明中进行更正，学习纠正事实错误的系统。本文中提出了一个基于 T5 变压器的两阶段远程监督方法，通过检索证据获得更好的结果，从而取得了更好的性能，并通过人类评估证明了其有效性。

    Dec, 2020

  • 自动事实检查中不同任务的丰富注释语料库

    基于机器学习的自动事实核查是识别网络上的虚假信息的一种有希望的方法，针对现有的事实核查语料库规模小、注释不详细、局限于单一领域等问题，本研究提出了一个大规模、多领域的可信事实核查语料库，并进行了模型构建和分析。

    Oct, 2019

  • 再读一遍：通过重新审视证据实现忠实可解释的事实验证

    提出了一种名为 “ReRead” 的验证模型，旨在通过训练证据检索器来获取可解释证据，并通过验​​证理财顾问提高准确性，从而达到提高验证性能的目的。

    May, 2023

  • 无监督事实核实的问答

    本文提出了一种基于无监督问答的事实检查方法，通过使用 Bert 对 FEVER 数据集进行 Cloze 任务转换，以预测答案标记，并计算基于正确回答的问题和阈值的标签。该方法在转换后的数据集上在开发集和测试集上分别实现了 80.2％和 80.25％的标签准确率。

    Oct, 2019