SIGIRApr, 2024

FactCheck Editor: 多语言文本编辑器具备端到端事实核查功能

PDF
TL;DRFactCheck Editor 是一种先进的文本编辑器，旨在自动化事实核查和纠正事实错误。它支持超过 90 种语言，利用 Transformer 模型来协助人类进行劳动密集型的事实验证过程。该演示展示了一个完整的工作流程，检测需要验证的文本声明，生成相关的搜索引擎查询，并从网络检索适当的文档。它使用自然语言推理（NLI）来预测声明的真实性，并使用 LLMs 来总结证据，并提出修正文本中任何错误的文本修订建议。此外，还在多种语言上评估了用于声明检测和真实性评估的模型的有效性。
发现论文，激发创造
  • 大规模的端到端多语种事实核查

    通过 Factiverse AI 模型，在超过 100 种语言中进行端到端事实核查，并通过实验基准证明，针对事实核查任务进行细化调整的模型优于大型语言模型，如 GPT-4，GPT-3.5-Turbo 和 Mistral-7b。

    Feb, 2024

  • 新闻室自动化事实检查

    本文介绍了一个用于事实核查的自动化平台，该平台能够检索相关文本证据，预测每个证据是否支持或反驳一个声明，并返回最终结论。此外，本文还对这个平台在新闻工作流中的应用进行了用户研究，并为其性能作出了评估。结果表明，该平台的预测正确率为 58％，返回的证据中有 59％是相关的。

    Apr, 2019

  • 基于事实的文本编辑

    我们提出了一种名为事实为本文本编辑的新任务，通过使用神经网络架构 FactEditor，其通过参考给定的知识库中的事实来编辑草稿文本，在实验中证明在忠实度和流畅性方面均优于编码解码模型，并且较编码器解码器方法具有更快的推理速度。

    Jul, 2020

  • 多语种事实核查索引检索

    本论文提出了一个新的多语言数据集 MultiClaim，其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果，并显示对这样一个多样化的数据集进行评估具有复杂性，需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法，显著提高了非监督方法的性能。

    May, 2023

  • 自动化事实核查协助人类事实核查员

    本文介绍了事实核查员的现代化，探讨了智能技术在辅助事实核查员进行核查、检测、提供相关证据及验证方面所起的作用。

    Mar, 2021

  • X-FACT：一个新的用于多语言事实检查的基准数据集

    本研究介绍了 X-FACT 数据集，这是目前最大的公开的多语言事实验证数据集，其中包含 25 种语言的短语句，并由专业事实检查者标记真实性，数据集包含多语言评估基准测试，并使用现代化的多语言变压器模型开发了多个自动事实检查模型，实证表明模型的最佳性能 F1 分数约为 40％，因此是评估多语言事实检查模型的挑战性基准测试。

    Jun, 2021

  • 自动事实核查的主张检测：关于单语、多语和跨语言研究的调查

    自动事实核查引起了过去几十年的广泛关注， 由于在线平台上虚假信息的扩散增加。本调查主要关注多语言数据和方法，讨论现有努力检测需求核查的言论。我们提出了一项综合调查，介绍了最新的多语言言论检测研究，主要涉及可验证性，优先级和相似性三个问题因素。此外，我们详细概述了现有的多语言数据集，以及存在的挑战，并提出可能的未来发展方向。

    Jan, 2024

  • 自动化事实核查综述

    本文综述了基于自然语言处理的自动事实核查技术及其在相关学科里的应用。该技术使用自然语言处理、机器学习、知识表示和数据库等技术预测声称的可信度，同时介绍了现有数据集和模型，旨在统一各种定义并识别通用概念，最后提出了未来研究的挑战。

    Aug, 2021

  • 自动事实核查：一项调查研究

    该篇论文回顾了涉及自动事实检查的相关研究，包括索取检测和索求验证组件，并探讨了自然语言处理，自动化事实检查的数据集以及提出的各种 NLP 方法在该领域发展方面所做的贡献。

    Sep, 2021

  • ViWikiFC: 基于越南维基百科的文本知识事实核查源

    通过构建 ViWikiFC，我们首次为越南维基百科建立了一个手动注释的开放领域语料库，其中收录了超过 20K 个索证句，经由从维基百科文章提取的证据句生成。我们分析了我们的语料库的各个语言方面，包括新的依赖率、新的 n-gram 率和新的词汇率。我们进行了各种越南事实核查的实验，包括证据检索和判断预测。BM25 和 InfoXLM（Large）在两个任务中取得了最佳结果，其中 BM25 在证据检索任务中的 SUPPORTS 准确率为 88.30%，REFUTES 准确率为 86.93%，NEI 标签仅为 56.67%；InfoXLM（Large）在检索任务中取得了 86.51% 的 F1 分数。此外，我们还进行了一种流水线方法，但只有在使用 InfoXLM（Large）和 BM25 时，严格准确率达到了 67.00%。这些结果证明了我们的数据集对于越南语言模型在事实核查任务中是具有挑战性的。

    May, 2024