将时间图融合至 Transformer 以用于时间敏感问答

EMNLPOct, 2023

将时间图融合至 Transformer 以用于时间敏感问答

Fusing Temporal Graphs into Transformers for Time-Sensitive Question Answering

Xin Su, Phillip Howard, Nagib Hakim, Steven Bethard

TL;DR通过应用现有的时间信息提取系统构建事件、时间和时间关系的时间图，然后研究将这些图融入 Transformer 模型的不同方法，实验结果表明，我们提出的融合时间图的方法显著提高了 Transformer 模型的时间推理能力，在不进行微调的情况下，我们的方法优于各种基于图卷积的方法，在 SituatedQA 和 TimeQA 的三个分割上取得了新的最佳性能。

Abstract

Answering time-sensitive questions from long documents requires temporal reasoning over the times in questions and documents. An important open question is whether large language models can perform such reasoning

time-sensitive questions temporal reasoning large language models temporal information extraction systems transformer models

发现论文，激发创造

基于大型语言模型的时间知识图的两阶段生成式问答

提出一种新颖的生成式时间知识图问答框架（GenTKGQA），通过两个阶段引导 LLMs 回答时间性问题：子图检索和答案生成。在第一个阶段，利用 LLM 的内在知识来挖掘问题中的时间约束和结构链接，从而缩小子图搜索空间。在第二个阶段，设计虚拟知识指示器将子图的图神经网络信号与 LLM 的文本表示非浅层次地融合，帮助开源 LLM 深入理解检索到的事实中的时间顺序和结构依赖关系。实验结果表明，该模型优于最先进的基准方法，甚至对于简单问题类型的指标达到 100％。

Feb, 2024

具有句法信息的异构图变换器问答

本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

Apr, 2022

上下文化时间图生成的神经语言建模

使用大规模预训练语言模型自动产生基于事件级别的时间图的第一项研究，通过使用现有的信息提取 / 自然语言处理工具自动生成大量文档 - 图对，并将上下文化图的产生问题作为序列到序列映射任务提出创新方案，我们的实验表明，我们的方法在生成结构和语义有效的图方面非常有效。

Oct, 2020

自然语言问答中的问题解答：时间表达的特殊情况

通过在段落中找到对时间相关问题的答案，我们的工作旨在利用一种被广泛应用于一般问答的方法，即答案提取。为了训练我们的模型，我们提出了一个新的数据集，灵感来自于 SQuAD，并专门为提供丰富的时间信息进行了调整。我们选择了适应于历史上最重要冲突的文集 WikiWars。我们的评估表明，通过训练进行模式匹配的深度学习模型，可以适应于处理时间相关问题，但需要对答案直接存在于文本中的问题进行回答。

Nov, 2023

针对大型语言模型的时间推理能力的基准测试和改进

本文介绍了一个全面的测试数据 empreason 来评估大语言模型的时间推理能力，包括三个时间推理水平的问题，并提出了一种基于时间跨度提取和时间敏感的强化学习的新型学习框架来提高其时间推理能力，并证明了其有效性。

Jun, 2023

活在当下：大型语言模型能否把握同时推理？

本研究介绍了 CoTempQA，一个包含四个共时场景的 QA 基准数据集，用于评估大型语言模型的共时理解和推理能力，发现当前模型在 CoTempQA 任务上表现明显低于人类水平，甚至在采用 CoT 方法进行加强后仍然艰难。通过初步探索，发现数学推理在处理共时事件中起着重要作用，并提出了一种从数学角度提升大型语言模型共时推理的策略。希望我们的 CoTempQA 数据集能够鼓励进一步改进大型语言模型的共时推理能力。

Jun, 2024

大型语言模型能够学习时间推理

我们提出了一种新的基于文本的时间推理模型 TempGraph-LLM，通过将上下文翻译成时间图，教导大型语言模型 (LLMs) 学习时间概念。我们证明了在其他任务上的预训练对 LLMs 的效益，并通过思路链的引导和特殊数据增强引导 LLMs 进行符号推理，观察到符号推理带来更一致可靠的结果。

Jan, 2024

从文本资源中有针对性地提取时间事实，以改善知识库上的时间问答

本文提出了一种新颖的方法，其中使用针对特定类别问题的时间事实提取技术辅助 Knowledge Base Question Answering，以解决由于知识库不完整和实体 / 关系链接错误而无法检索所有相关事实的问题，实验结果显示，相对于传统方法，本文方法的答案准确性提高了约 30%。

Mar, 2022

大型语言模型与知识图谱相遇：回答事实性问题

提出一种使用知识图谱扩展预训练文本到文本语言模型的方法，通过从知识图谱中提取子图，使用基于 Transformer 的模型线性化提取的子图并重新对答案候选项进行排序，使得预训练文本到文本语言模型的 Hits@1 评分提升 4-6%。

Oct, 2023

提高基于时间知识图谱的问答时间敏感度

本文提出了一种对时间知识图进行问答的框架，包括一个时间戳估计模块和一个考虑时间顺序的知识图嵌入编码器，能够有效地解决问题中时间相关的挑战，并且在时间知识图问答基准上获得了显著的性能提升。

Mar, 2022