Sep, 2018

自动事实核查：开发一种注释模式和基准，以实现一致的自动索赔检测

PDF
TL;DR本文介绍了利用专业事实核查人员的专业知识，开发了一种基于通用句子表示的方法来检测声明，其分类时的 F1 值高达 0.83，相对于现有方法 ClaimBuster 和 ClaimRank 提升了超过 5%。
factcheckersclaim detectionannotation schemaautomated claim detectionuniversal sentence representations
发现论文，激发创造
  • AFaCTA: 借助可靠的 LLM 标注者辅助事实性主张检测的注释

    通过生成 AI 控制虚假信息的自动事实检查方法正在变得越来越重要，然而，事实声明检测遭遇了任务定义不一致与手动注释成本高昂的两个主要问题。为了解决这些问题，我们提出了 Automtic Factual Claim deTection Annotator (AFaCTA) 框架，通过大型语言模型的帮助来辅助地标事实声明，并通过三个预定的推理路径自动校准其注释置信度，从而提高了注释的效率和分类器的质量。

    Feb, 2024

  • 自动事实检查中不同任务的丰富注释语料库

    基于机器学习的自动事实核查是识别网络上的虚假信息的一种有希望的方法，针对现有的事实核查语料库规模小、注释不详细、局限于单一领域等问题，本研究提出了一个大规模、多领域的可信事实核查语料库，并进行了模型构建和分析。

    Oct, 2019

  • Twitter 上声明段落的自动识别：事实检查者的赋能

    本文提出了 Claim Span Identification (CSI) 任务并引入了名为 CURT 的大规模 Twitter 语料库，通过基于 RoBERTa 的适配器 DABERTa 进行实验来对其数据进行基准测试，并提供了细致的误差分析和消融研究来验证该模型的性能，并提供了全面的跨度注释指南以供公共使用。

    Oct, 2022

  • 新闻室自动化事实检查

    本文介绍了一个用于事实核查的自动化平台，该平台能够检索相关文本证据，预测每个证据是否支持或反驳一个声明，并返回最终结论。此外，本文还对这个平台在新闻工作流中的应用进行了用户研究，并为其性能作出了评估。结果表明，该平台的预测正确率为 58％，返回的证据中有 59％是相关的。

    Apr, 2019

  • 自动化事实核查综述

    本文综述了基于自然语言处理的自动事实核查技术及其在相关学科里的应用。该技术使用自然语言处理、机器学习、知识表示和数据库等技术预测声称的可信度，同时介绍了现有数据集和模型，旨在统一各种定义并识别通用概念，最后提出了未来研究的挑战。

    Aug, 2021

  • 利用外部来源实现全自动事实核查

    提出了一种使用外部来源进行全自动事实核查的通用框架，该框架利用深度神经网络和 LSTM 文本编码结合任务特定的嵌入来判断声称的真实性，并将来自 Web 的相关文本片段融合其中，考虑其来源可靠性，在两个任务和数据集上均表现不错。

    Oct, 2017

  • 利用抽象提取技术进行事实核查声明检测

    在社交媒体如此发达的时代，我们提出了一个新的流程，其中部分自动化事实检查的生命周期可以节省人力和高认知任务。我们的方法是利用抽象摘要生成简洁的查询，这些查询可以在基于现有已核查实事的数据集的检索系统中执行。通过使用现有的摘要模型进行微调和开箱既食的摘要模型，我们获得了具有更好的检索表现，检索准确率提高了 3 倍，而基于原文查询的准确率仅为 10％。

    Sep, 2022

  • 自动事实核查中的跨主题值得核实声明检测

    本文针对不同主题下识别值得检查的权利要求的挑战进行了评估和量化，提出了 AraCWA 模型来减轻跨主题检测具有检查价值权利要求时的性能下降，该模型通过少量学习和数据增强来为新的主题提高性能，并使用公开数据集的阿拉伯语推文，为不同的主题证明了文章提出的数据增强策略取得了显著的改进。

    Dec, 2022

  • 统一语料库中的立场检测和事实核查整合

    该研究提供了一种基于数据集的方法，支持事实检查、文献检索、来源可靠度、立场检测和论据提取这些任务之间的相互关系，从而帮助构建一个阿拉伯语事实检查语料库。

    Apr, 2018

  • 通过错误识别和解释进行自动事实检验的方法

    本文介绍自动事实核查在互联网内容管理中的重要性，提出了面向缺陷的事实核查任务并引入了专门设计的框架 RefuteClaim，通过提取和转换专家审查的见解，创造了用于该任务的数据集 FlawCheck，并实验证明了 RefuteClaim 在分类和阐明虚假主张方面的有效性。

    Jan, 2024