TempTabQA:面向半结构化表格的时间问题回答
本文研究使用深度学习技术回答多步推理问题的方法,该方法基于自然语言问句生成机器可理解的逻辑形式,使用字符和单词 CNN 同时嵌入逻辑形式和问句,并使用神经评分函数检索问题的最可能逻辑形式,取得 38.7% 的最佳性能。
Feb, 2017
通过在段落中找到对时间相关问题的答案,我们的工作旨在利用一种被广泛应用于一般问答的方法,即答案提取。为了训练我们的模型,我们提出了一个新的数据集,灵感来自于 SQuAD,并专门为提供丰富的时间信息进行了调整。我们选择了适应于历史上最重要冲突的文集 WikiWars。我们的评估表明,通过训练进行模式匹配的深度学习模型,可以适应于处理时间相关问题,但需要对答案直接存在于文本中的问题进行回答。
Nov, 2023
本篇论文介绍了 FeTaQA 数据集,该数据集包含 10K 个基于维基百科的 {表格,问题,自由形式答案,支持表格单元格} 对,可以用于进行表格问答系统的复杂推理和信息集成;并提出了一个基于语义解析的 QA 系统和一个基于大型预训练文本生成模型的端到端方法来处理该任务。
Apr, 2021
本文提出了一个基于 Wikidata 的时间问答数据集 TempQA-WD,以鼓励更多的研究在复杂推理任务方面的延伸和拓展。该数据集具有以下特点:(a)包含了中间 sparql 查询以方便基于语义解析的 KBQA 方法的评估,(b)可以推广到多个知识库,如 Freebase 和 Wikidata,(c)挑战性更强。
Jan, 2022
本文介绍了一个名为 INFOTABS 的新数据集,它由基于来自维基百科信息框的表格的前提条件的人工编写的文本假设组成。 该研究表明,尽管人类标注者同意表格 - 假设对之间的关系,但是多个标准建模策略在此任务中效果不佳,表明表格推理可能会带来困难的建模挑战。
May, 2020
通过使用问题 - 答案对作为监督,本文在半结构化表格中回答复杂问题的新任务上同时提高了语义解析的知识源的广度和逻辑复合度的深度,提出了一种由强类型约束引导的逻辑形式驱动的解析算法,并创建了一个新的包含 22,033 个复杂问题的维基百科表格数据集进行了评估。
Aug, 2015
本文提出了一种新颖的方法,其中使用针对特定类别问题的时间事实提取技术辅助 Knowledge Base Question Answering,以解决由于知识库不完整和实体 / 关系链接错误而无法检索所有相关事实的问题,实验结果显示,相对于传统方法,本文方法的答案准确性提高了约 30%。
Mar, 2022
本文介绍了一个全面的测试数据 empreason 来评估大语言模型的时间推理能力,包括三个时间推理水平的问题,并提出了一种基于时间跨度提取和时间敏感的强化学习的新型学习框架来提高其时间推理能力,并证明了其有效性。
Jun, 2023
在此研究中,我们提出了针对时态问答系统的新方法,通过可信证据强制执行时间约束条件、正确处理隐含问题,并统一处理知识库、文本和网页表格等异构数据源。实验结果表明,该方法在多个基准测试中展现出卓越的性能。
Feb, 2024
本文提出了构建一种基于时间敏感的问答数据集,用于评估长文档 QA 系统的时间推理能力,针对现有的 QA 数据集缺乏时序问题的问题,展示出当前现有的 SoTA QA 系统(如 BigBird 和 FiD)对于时间推理的能力仍不完备,在此基础上提出将该数据集作为开发更加敏感于时间推理的 NLP 模型的基准测试。
Aug, 2021