SCITAB: 一个用于科学数据表格组合推理和论断验证的重要基准测试

May, 2023

SCITAB: 一个用于科学数据表格组合推理和论断验证的重要基准测试

SCITAB: A Challenging Benchmark for Compositional Reasoning and Claim Verification on Scientific Tables

Xinyuan Lu, Liangming Pan, Qian Liu, Preslav Nakov, Min-Yen Kan

TL;DR构建 SCITAB 数据集用于科学事实审查，从实际科学陈述中提取复合表理推理的 1225 个挑战性科学主张，将其证据呈现为表格形式，揭示了现有提示方法的限制和挑战，提出了未来研究方向。

Abstract

scientific fact-checking is crucial for ensuring the accuracy, reliability, and trustworthiness of scientific claims. However, existing benchmarks are limited in terms of their claim diversity, reliance on text-based evidence, and oversimplification of scientific reasoning. To address

scientific fact-checking scitab dataset compositional reasoning evidence in tables error analysis

发现论文，激发创造

SemEval-2021 任务 9：科学文档中表格数据的事实验证和证据搜索（SEM-TAB-FACTS）

本研究旨在解决在科技论文中理解表格结构与表格内容，主要通过提供一个包含这些信息的数据集和 SemEval 任务挑战赛中两个子任务的方式来实现，共有 69 个团队参与，19 个成功提交了子任务 A 的结果，12 个成功提交了子任务 B 的结果。

May, 2021

从科学表格中学习推理进行文本生成

本研究引入了 SciGen，一个考虑推理的数据到文本生成任务的数据集。SciGen 是第一个评估生成模型在复杂输入结构下算术推理能力的数据集，并表明表格描述需要考虑表格值的推理。在 SciGen 上进行实验表明，目前数据到文本生成模型的推理能力受限，缺乏适当的自动评估度量。

Apr, 2021

验证科学主张：事实或虚构

科学的论断验证是一个新的任务，其目的是从研究文献中选择包含支持或驳斥给定科学论断的摘要，并确定证据。为了研究这个任务，我们构建了 SciFact 数据集，其中包括 1.4K 个专家撰写的科学论断，以及用标签和论据注释的含有证据的摘要。我们开发了 SciFact 的基线模型，并证明简单的领域适应技术可以大大提高性能，并能够使用 CORD-19 语料库鉴定与 COVID-19 相关的声明。我们的实验表明，SciFact 将为设计用于检索和推理包含专业领域知识的语料库的新系统提供具有挑战性的测试平台。

Apr, 2020

TabFact：一个用于基于表格的事实验证的大规模数据集

本文介绍 TabFact 数据集，其中包含 118k 人工标注的自然语言陈述，并以 16k 个 Wikipedia 表格作为证据，同时介绍了 Table-BERT 和 LPA，这两种算法都能在半结构化数据情况下进行事实验证，都有优点和不足之处，但是都能被进一步开发优化。

Sep, 2019

科学表格的标签问答模型有多稳健？使用自定义数据集的研究

研究报告通过构建新的 SciTabQA 数据集评估现有的科学混合表格问答模型的稳健性和性能，发现表格问答模型在科学信息上的解释能力较低，需要进一步改进。

Mar, 2024

面向科学推理的可控表格到文本生成

我们提供了一个生成符合用户偏好的流畅且逻辑一致的科学表格数据描述的新任务，并通过构建一个具有高亮单元格和相应专业知识库的数据集，为这个方向的研究提供了基准，并提出了一种优于竞争方法的新架构。结果显示，大型模型在生成与用户偏好一致的准确内容方面存在困难。作为首创，我们的工作有望推动科学领域的进一步研究。

Dec, 2023

AVeriTeC：一份集合了网络证据的真实世界主张验证数据集

本文介绍了一个新的数据集 AVeriTeC，包含 4,568 个来自 50 个不同机构的真实事实核查内容，每个内容都包含了来自在线可用资源的支持性证据和文本理由，以及多轮注释过程中的评审结果，提供了一个基于多个问题回答步骤的基线和模型评估，旨在弥补目前自动事实核查数据集的缺陷。

May, 2023

SciFact-Open: 面向开放领域的科学主张验证

本文介绍了一种新型测试集 SciFact-Open，通过信息检索中的池化技术和四种先进的科学主张验证模型的预测，评估了科学主张验证系统在 50 万个研究摘要的语料库上的表现，发现在 SciFact-Open 上进行测试要比在更小的语料库上进行测试更具挑战性。

Oct, 2022

RerrFact: 用于科学论述验证的减少证据检索表示

通过提取和融合来源摘要的相关证据理由，提出了一种调用二分类序列逐个进行预测子任务的模块化方法，从而实现科学主张的自动验证，包括验证支持和反驳证据，该方法名为 RerrFact，并平台竞争 SciFact 排行榜。

Feb, 2022

SciVer 科学声明验证共享任务的概述和见解

本文概述了在第二届 NAACL 2021 学术文档处理（SDP）研讨会上介绍的 SciVer 共享任务，在该任务中，系统需要识别支持或反驳科学论断的文章以及提供证明标签的证据句子。11 个团队共提交了 14 份成果，主要任务评估指标上的 F1 分数有了超过 23 的提升。除了调查参与系统外，我们还提供了一些模型方法的见解，以支持科学主张验证这一重要而具有挑战性的任务的持续进展和未来研究。

Jul, 2021