Feb, 2024

AFaCTA: 借助可靠的 LLM 标注者辅助事实性主张检测的注释

PDF
TL;DR通过生成 AI 控制虚假信息的自动事实检查方法正在变得越来越重要，然而，事实声明检测遭遇了任务定义不一致与手动注释成本高昂的两个主要问题。为了解决这些问题，我们提出了 Automtic Factual Claim deTection Annotator (AFaCTA) 框架，通过大型语言模型的帮助来辅助地标事实声明，并通过三个预定的推理路径自动校准其注释置信度，从而提高了注释的效率和分类器的质量。
generative aiautomated fact-checkingfactual claim detectionverifiabilityannotation
发现论文，激发创造
  • 自动事实核查：开发一种注释模式和基准，以实现一致的自动索赔检测

    本文介绍了利用专业事实核查人员的专业知识，开发了一种基于通用句子表示的方法来检测声明，其分类时的 F1 值高达 0.83，相对于现有方法 ClaimBuster 和 ClaimRank 提升了超过 5%。

    Sep, 2018

  • FAKTA: 一个自动化的端到端事实检查系统

    FAKTA 是一个统一的框架，它整合了事实核查过程的各个组成部分：从可靠度各异的媒体源检索文档、针对给定声明的立场检测、证据提取和语言分析。FAKTA 预测给定声明的事实性，并在文档和句子层面提供证据来解释其预测。

    Jun, 2019

  • 自动事实核查：任务形式，方法和未来方向

    本文通过统一任务格式和方法论，对自然语言处理等多个领域的自动事实核查研究进行了综述，重点强调了证据在这一领域的重要性，并提出了未来研究的方向。

    Jun, 2018

  • FacTool: 生成式人工智能中的事实性检测 —— 一种用于多任务和多领域场景的工具增强框架

    利用生成式预训练模型合成高质量文本的出现，使得辨识生成文本中的事实错误面临挑战。本文提出了一种名为 FacTool 的任务和领域无关框架，用于检测大型语言模型（如 ChatGPT）生成文本中的事实错误，并在基于知识的问答、代码生成、数学推理和科学文献综述等四个不同任务上进行了实验证明了该方法的有效性。

    Jul, 2023

  • 自动化事实核查综述

    本文综述了基于自然语言处理的自动事实核查技术及其在相关学科里的应用。该技术使用自然语言处理、机器学习、知识表示和数据库等技术预测声称的可信度，同时介绍了现有数据集和模型，旨在统一各种定义并识别通用概念，最后提出了未来研究的挑战。

    Aug, 2021

  • Factcheck-GPT: 端到端的细粒度文档级事实检查与纠正 LLM 输出

    该研究介绍了一种针对大型语言模型输出进行事实准确性注释的综合解决方案，包括多阶段的注释方案和注释工具的设计，以识别 LLM 输出中的可验证性和事实不一致性，并构建了三个层次粒度的开放领域文档级事实性基准。初步实验结果表明，已有工具在识别错误声明方面存在困难，最佳 F1=0.53。

    Nov, 2023

  • 自动事实检查中不同任务的丰富注释语料库

    基于机器学习的自动事实核查是识别网络上的虚假信息的一种有希望的方法，针对现有的事实核查语料库规模小、注释不详细、局限于单一领域等问题，本研究提出了一个大规模、多领域的可信事实核查语料库，并进行了模型构建和分析。

    Oct, 2019

  • 生成事实检查解释

    本文针对自动事实检测的不足之处，提供了首个研究可利用可用的声明上下文生成自动化证明，并且演示了一项同时优化判断准确性预测和证明生成的多任务模型平均性能更好。

    Apr, 2020

  • 通过错误识别和解释进行自动事实检验的方法

    本文介绍自动事实核查在互联网内容管理中的重要性，提出了面向缺陷的事实核查任务并引入了专门设计的框架 RefuteClaim，通过提取和转换专家审查的见解，创造了用于该任务的数据集 FlawCheck，并实验证明了 RefuteClaim 在分类和阐明虚假主张方面的有效性。

    Jan, 2024

  • 自动事实核查的主张检测：关于单语、多语和跨语言研究的调查

    自动事实核查引起了过去几十年的广泛关注， 由于在线平台上虚假信息的扩散增加。本调查主要关注多语言数据和方法，讨论现有努力检测需求核查的言论。我们提出了一项综合调查，介绍了最新的多语言言论检测研究，主要涉及可验证性，优先级和相似性三个问题因素。此外，我们详细概述了现有的多语言数据集，以及存在的挑战，并提出可能的未来发展方向。

    Jan, 2024