自然语言问答中的问题解答:时间表达的特殊情况
通过引入半结构化表中的时间问题回答任务,并使用 TempTabQA 数据集评估现有模型的时间推理能力,我们观察到即使是表现最好的 LLMs 在 F1 得分上也比人类表现差 13.5 个百分点以上,因此我们的数据集有潜力成为改进 NLP 模型时间推理能力的具有挑战性的基准。
Nov, 2023
本文提出了一种新颖的方法,其中使用针对特定类别问题的时间事实提取技术辅助 Knowledge Base Question Answering,以解决由于知识库不完整和实体 / 关系链接错误而无法检索所有相关事实的问题,实验结果显示,相对于传统方法,本文方法的答案准确性提高了约 30%。
Mar, 2022
在此研究中,我们提出了针对时态问答系统的新方法,通过可信证据强制执行时间约束条件、正确处理隐含问题,并统一处理知识库、文本和网页表格等异构数据源。实验结果表明,该方法在多个基准测试中展现出卓越的性能。
Feb, 2024
通过应用现有的时间信息提取系统构建事件、时间和时间关系的时间图,然后研究将这些图融入 Transformer 模型的不同方法,实验结果表明,我们提出的融合时间图的方法显著提高了 Transformer 模型的时间推理能力,在不进行微调的情况下,我们的方法优于各种基于图卷积的方法,在 SituatedQA 和 TimeQA 的三个分割上取得了新的最佳性能。
Oct, 2023
本文提出使用基于 LSTM 简单统一的模型从文本中恢复不同类型的时间关系,通过依存路径提供输入,同时包括句内、句间和文档创作时间关系。运用双重检查技术,在分类中颠倒实体对,提高正例召回率并减少相反类之间的错误分类。最后,使用有效的剪枝算法在全局解决冲突。该方法在 QA-TempEval(SemEval2015 任务 5)上表现优于现有的方法。
Mar, 2017
提出一种新颖的生成式时间知识图问答框架(GenTKGQA),通过两个阶段引导 LLMs 回答时间性问题:子图检索和答案生成。在第一个阶段,利用 LLM 的内在知识来挖掘问题中的时间约束和结构链接,从而缩小子图搜索空间。在第二个阶段,设计虚拟知识指示器将子图的图神经网络信号与 LLM 的文本表示非浅层次地融合,帮助开源 LLM 深入理解检索到的事实中的时间顺序和结构依赖关系。实验结果表明,该模型优于最先进的基准方法,甚至对于简单问题类型的指标达到 100%。
Feb, 2024
EXAQT 是第一个用于回答时间问题的端到端系统,可以为包含多个实体和谓词以及相关时间条件的复杂时间问题提供自然语言答案,并通过 Group Steiner Trees 和 fine-tuned BERT 模型以及时间感知的实体嵌入和关注时间关系的关系图卷积网络,提高 KG-QA 的效率和准确性。
Sep, 2021
本文提出了一个基于循环神经网络的编码器 - 解码器方法,利用双通道排名损失来回答带有时间维度的选择题,同时探讨了 “填空题” 形式的方法来更细致地理解视频内容,并从 TACoS、MPII-MD、MEDTest 14 数据集中收集了超过 1,000 小时的 109,895 视频片段和 390,744 个对应的问题。大量实验表明,我们的方法显著优于已有的基准模型。
Nov, 2015
本文介绍了一个全面的测试数据 empreason 来评估大语言模型的时间推理能力,包括三个时间推理水平的问题,并提出了一种基于时间跨度提取和时间敏感的强化学习的新型学习框架来提高其时间推理能力,并证明了其有效性。
Jun, 2023
使用大型语言模型和上下文学习,通过样本选择策略实现时间表达归一化,取得了与此任务相关模型相媲美的竞争性结果,并在非标准设置中通过动态包含相关示例在推断过程中实现大幅度的性能改进。
Apr, 2024