Oct, 2019

自动事实检查中不同任务的丰富注释语料库

PDF
TL;DR基于机器学习的自动事实核查是识别网络上的虚假信息的一种有希望的方法，针对现有的事实核查语料库规模小、注释不详细、局限于单一领域等问题，本研究提出了一个大规模、多领域的可信事实核查语料库，并进行了模型构建和分析。
发现论文，激发创造
  • 统一语料库中的立场检测和事实核查整合

    该研究提供了一种基于数据集的方法，支持事实检查、文献检索、来源可靠度、立场检测和论据提取这些任务之间的相互关系，从而帮助构建一个阿拉伯语事实检查语料库。

    Apr, 2018

  • 自动事实核查：开发一种注释模式和基准，以实现一致的自动索赔检测

    本文介绍了利用专业事实核查人员的专业知识，开发了一种基于通用句子表示的方法来检测声明，其分类时的 F1 值高达 0.83，相对于现有方法 ClaimBuster 和 ClaimRank 提升了超过 5%。

    Sep, 2018

  • 自动事实核查：任务形式，方法和未来方向

    本文通过统一任务格式和方法论，对自然语言处理等多个领域的自动事实核查研究进行了综述，重点强调了证据在这一领域的重要性，并提出了未来研究的方向。

    Jun, 2018

  • 利用外部来源实现全自动事实核查

    提出了一种使用外部来源进行全自动事实核查的通用框架，该框架利用深度神经网络和 LSTM 文本编码结合任务特定的嵌入来判断声称的真实性，并将来自 Web 的相关文本片段融合其中，考虑其来源可靠性，在两个任务和数据集上均表现不错。

    Oct, 2017

  • 自动化事实核查综述

    本文综述了基于自然语言处理的自动事实核查技术及其在相关学科里的应用。该技术使用自然语言处理、机器学习、知识表示和数据库等技术预测声称的可信度，同时介绍了现有数据集和模型，旨在统一各种定义并识别通用概念，最后提出了未来研究的挑战。

    Aug, 2021

  • 计算立场检测的多标签和多目标机器注释采样

    研究了利用大型语言模型进行自动标注来进行计算立场检测，引入了多标签和多目标采样策略以优化标注质量，实验证明该方法能明显提高性能和学习效果。

    Nov, 2023

  • AFaCTA: 借助可靠的 LLM 标注者辅助事实性主张检测的注释

    通过生成 AI 控制虚假信息的自动事实检查方法正在变得越来越重要，然而，事实声明检测遭遇了任务定义不一致与手动注释成本高昂的两个主要问题。为了解决这些问题，我们提出了 Automtic Factual Claim deTection Annotator (AFaCTA) 框架，通过大型语言模型的帮助来辅助地标事实声明，并通过三个预定的推理路径自动校准其注释置信度，从而提高了注释的效率和分类器的质量。

    Feb, 2024

  • 生成事实检查解释

    本文针对自动事实检测的不足之处，提供了首个研究可利用可用的声明上下文生成自动化证明，并且演示了一项同时优化判断准确性预测和证明生成的多任务模型平均性能更好。

    Apr, 2020

  • 训练集以外的事实核查

    我们提出了针对事实检查领域的常见问题的改进算法，包括对传统的 retriever-reader 模型的性能下降问题的改进，以及对 reader 组件的改进，通过对 claims 和 evidence documents 的无序性进行训练，从而提高对分布偏移的鲁棒性。此外，我们还提出了一种自动方法来构建多主题事实检查数据集，并将我们的模型与一组强大的基准模型进行比较。

    Mar, 2024

  • 多语种事实核查索引检索

    本论文提出了一个新的多语言数据集 MultiClaim，其中包含 28k 个社交媒体帖子和 206k 个来自专业事实核查人员写的 39 种语言的事实核查。我们评估了不同的非监督方法在这个数据集上的效果，并显示对这样一个多样化的数据集进行评估具有复杂性，需要在解释结果之前采取适当的措施。我们还评估了一种监督微调方法，显著提高了非监督方法的性能。

    May, 2023