Feb, 2016

TabMCQ: 通识知识表格与多项选择题数据集

HTML
PDF
TL;DR本文提出两个新的相关资源，以促进对小学科学考试中一般知识推理过程的建模。这些资源包括经过筛选的事实表和大量的众包多选题，通过构建众包注释任务，我们获得了问题与表格之间的隐式对齐信息。我们认为，这些资源不仅对从事问答研究的人有用，也对调查诸如信息提取、问题解析、答案类型识别和词汇语义建模等各种其他应用的人有用。
发现论文，激发创造
  • 从知识图谱中得出的知识问题

    本研究提出一种针对知识图谱（如DBpedia）自动生成知识问题的方法，通过使用端到端的方法，包括实体选择、三元组查询、答案选择和自然语言问句生成，并使用历史数据和训练分类器来估计问题难度。最后的实验证明了这种方法的可行性。

    Oct, 2016

  • 众包多项选择题科学问题

    本文提出一种新的方法来从众包工作者那里获得高质量、针对领域的多项选择题，该方法通过利用大量的领域特定文本和一小部分现有问题，产生文档选择和答案干扰选项的模型建议，辅助人类提问生成过程。使用这种方法，我们已经组装了13.7K的多项选择科学考试题的 SciQ 数据集，并通过提供对这个新数据集的分析和展示人们无法区分众包问题与原问题，证明了这种方法可以产生领域内的问题。当将 SciQ 用作现有问题的附加训练数据时，在真实科学考试中观察到了准确度的提高。

    Jul, 2017

  • WorldTree: 支援多跳推理的初级科学问题说明图语料库

    本文介绍了一个构建在科学考试标准化问题上的说明语料库，通过手工构建详细的说明，我们提供了半结构化表格数据集和自由文本训练数据集，从而为自动推理提供了可信的人类可读说明。

    Feb, 2018

  • CommonsenseQA：一个针对常识知识的问答挑战

    该论文提出了一个常识问答的新数据集——CommonsenseQA，并采用了多个目标概念，旨在提高常识推理的难度，在使用BERT-large作为基线方法的情况下，最佳准确率为56%。

    Nov, 2018

  • OmniTab：使用自然及合成数据进行预训练的Few-shot表格问答模型

    本文旨在开发一种简单的基于表格的问答模型，采用全能预训练方法结合自然和合成数据，实现问题与表格的对齐和多元素复杂推理，实验证明该模型在少量和全量数据上性能卓越，在WikiTableQuestions数据集上成为新的最优模型，讨论分析自然数据和合成数据的不同特点，为全能预训练提供未来方向。

    Jul, 2022

  • EduQG: 面向教育领域的多种格式多选数据集

    本研究介绍了一个高质量的包含3397个样本的数据集，其中包含多项选择题、答案（包括干扰项）以及其来源文档，可用于问题与干扰项的生成以及探索新的挑战，同时伴随着 Bloom 的认知复杂性水平。所有问题均由专业人员生成以确保其符合教育及学习标准，该数据集对于教育域的研究和评估具有重要价值。

    Oct, 2022

  • 填补鸿沟: 利用大型语言模型解读表格数据

    大型语言模型在表格问答任务中的首次应用以增强模型对表格结构和内容的理解。

    Aug, 2023

  • TAP4LLM：针对大型语言模型推理的半结构化数据采样、增补和打包表格提供器

    通过使用大型语言模型（LLMs）和TAP4LLM表格提供程序，我们在各种表格任务中实现了有效的半结构化数据推理，包括将原始表格分解为子表、提取语义和统计元数据、从可信知识源检索相关知识以及为LLMs推理打包采样表格。TAP4LLM的不同组件作为插件，增强了LLMs对多样化表格任务中结构化数据的理解。

    Dec, 2023

  • TANQ: 一个开放领域的表格问答数据集

    TANQ是第一个需要从多个源中提取信息构建表格作为答案的开放领域问题回答数据集，我们在开放、正式和闭卷的场景中使用顶尖的语言模型进行评测，最好的基准模型GPT4的综合F1得分为29.1，相较于人类表现差了19.7个百分点，我们分析了在这个任务中所需的不同技能以及模型生成答案的常见失败，指出TANQ是一个具有许多挑战的复杂任务。

    May, 2024

  • TableBench：一个全面复杂的表格问答基准

    本研究针对大型语言模型在工业场景下处理复杂表格数据的不足，提出了全面复杂的基准TableBench，以评估表格问答能力。通过创建TableLLM并进行大量实验，发现当前模型在满足实际需求方面仍有显著提升空间，尤其是与人类表现相比，最先进的模型GPT-4仅取得了中等分数。

    Aug, 2024