Dec, 2020

CLIMATE-FEVER: 用于验证现实世界气候声明的数据集

PDF
TL;DR介绍了 CLIMATE-FEVER 数据集，旨在促进和鼓励改进为气候特定声明检索证据支持的算法，应对语言理解挑战，并帮助减轻虚假信息对气候变化的影响。
climate changedatasetlanguage understandingmisinformationai
发现论文，激发创造
  • FEVER: 一个用于事实提取和验证的大规模数据集

    本文介绍了一个新的公开可用的数据集 FEVER：事实提取和验证，它由 185,445 个主张组成，通过更改从维基百科中提取的句子并在不知道它们来自哪个句子的情况下进行验证。该数据集的挑战在于它的标注具有高度不确定性，作者开发了一种流水线方法对其进行测试，最佳的准确性达到了 31.87％。因此，FEVER 是一个具有挑战性的测试平台，可以帮助促进对文本来源的声明验证的进展。

    Mar, 2018

  • EX-FEVER：一个用于多跳可解释事实验证的数据集

    构建一个可解释的事实验证系统在复杂的多跳场景中始终受到相关高质量数据集的缺失的阻碍。为了解决这个问题，我们提出了 EX-FEVER，一个用于多跳可解释事实验证的先驱数据集。我们的数据集包括超过 60,000 个主张，每个主张都涉及 2 跳和 3 跳推理，每个主张都有一个真实性标签和一个解释，概述了支持真实性分类的推理路径。

    Oct, 2023

  • CFEVER：一个中文事实抽取和验证数据集

    CFEVER 是一个中文数据集，用于事实提取和验证，利用中文维基百科的内容手动创建了 30,012 个声明，并标记为 “支持”、“反驳” 或 “信息不足”，同时提供详细的证据句子。这个数据集通过 Fleiss' kappa 值（0.7934）的五向评判员一致性达到了新的高度，通过与现有方法和基准测试的实验表明，CFEVER 是一个严格的事实提取和验证基准，可用于开发自动化系统减少人工事实核查工作量。

    Feb, 2024

  • COVID-Fact: COVID-19 疫情相关真实声明的事实提取和验证

    我们介绍了一个名为 COVID-Fact 的 FEVER 风格数据集，它包含 4086 条有关 COVID-19 大流行的索赔信息，我们利用自动方法检测真实索赔和它们的来源文章，并使用自动方法生成反驳索赔，有助于检测 COVID-19 的一般错误信息。

    Jun, 2021

  • DeSePtion: 双序列预测和对抗样本用于改善事实检查

    本研究探讨了当前的事实检查系统面临的挑战，介绍了一种新的对抗性数据集，并提出了一种新的系统来处理多种类型的谎言，通过多个指针网络进行文档选择，并联合建模一系列证据句子和真实性关系预测，具有更优异的证据检索表现。

    Apr, 2020

  • 面向去偏置事实验证模型

    在研究中，我们发现在常见的 FEVER 数据集中，仅针对声明的分类器与最佳证据感知模型具有相似的性能。为了解决这种现象，我们开发了一个评估集并引入了一种正则化方法以减少训练数据中偏差的影响，并取得了进展。该工作是朝着更加可靠地评估事实验证模型的推理能力迈出的一步。

    Aug, 2019

  • 用于检测真实世界环境声明的数据集

    本文介绍了一份由专家标注的数据集，用于检测上市公司所做的关于环境的宣称，并且我们使用这个数据集训练和发布了基线模型。我们进一步展望了我们的数据集可能的应用：我们使用我们的精调模型来检测 2012 年至 2020 年季度盈利电话会议的回答部分中所做的环保声明，我们发现自 2015 年巴黎协定以来环保声明的数量稳步增加。

    Sep, 2022

  • ClimaBench: 英文气候变化文本理解基准数据集

    本文提出了 Climate Change Benchmark（ClimaBench），这是一个用于系统评估 CC NLU 任务模型性能的基准收集现有不同数据集的基准。我们从公开可用的环境披露中筛选了两个大规模的标记文本分类和问答数据集，并提供了数据分析。

    Jan, 2023

  • 使用 CsFEVER 和 CTKFacts 获取捷克数据进行事实验证

    本文介绍了获取捷克语数据进行自动事实核查的方法，其中提出了一种混合机器翻译和文档对齐的方法来生成一个基于 Wikipedia 的大规模 FEVER 数据集的捷克语版本，以及一种可靠应用于自然语言推理任务的 CsFEVER-NLI 版本。同时，还介绍了使用捷克新闻机构语料库对一些数据进行扩展注释，以及该数据集的基线模型和注释平台等实验数据。

    Jan, 2022

  • 事实提取与验证综述

    本文研究事实检查问题，特别是 Fact Extraction and VERification (FEVER) 任务及其相关数据集。通过分析不同方法的技术视角和在 FEVER 数据集上的性能结果，我们描述了所提出的方法，重点讨论了句子检索部分的有益损失函数的识别，最终描述了未来研究的开放问题和挑战。

    Oct, 2020