ACLJun, 2024

使用大型语言模型分析时间复杂事件：面向时间和长上下文理解的评测基准

PDF
TL;DR使用大型语言模型从时态复杂事件中提取和分析关键点和时间戳，建立了评估时态动态和理解大量文本的基准。实验证明，采用合适的信息检索和长上下文窗口的模型在处理时态复杂事件的长篇新闻文章时表现出可比较的性能。
digital landscapeonline newstemporal complex eventlarge language modelsbenchmark
发现论文，激发创造
  • 评估大型语言模型中的时间信息和推理技能

    大型语言模型对于时间信息的推理和保留能力仍然有限，本论文通过在一个大规模时间数据集（TempUN）上实验，揭示了在时间保留和推理能力方面存在的显著局限。有趣的是，闭源模型更频繁地显示出知识缺口，可能表明在不确定性意识和错误响应之间存在折衷。此外，探索各种微调方法并没有带来显著的性能提升。

    Feb, 2024

  • 回到未来：面向大型语言模型的可解释性时间推理

    本文提出了解释性时间推理的首个任务，即通过对多个事件进行多步骤的时间推理和对未来时间戳的预测，预测事件在未来时间戳上的发生，并提供清晰的解释。我们基于多源指导调整数据集和知识图谱生成策略，提出了第一个支持解释性时间推理的开源 LLM 系列 TimeLlaMA，该方法在时间预测和解释方面取得了最先进的性能。

    Oct, 2023

  • 大型语言模型作为事件预测器

    通过使用大型语言模型，本文研究了如何在维持竞争性准确率的同时，简化时态知识图谱学习框架的设计，通过使用指令微调适合编码器 - 解码器生成式语言模型进行对象预测，并设计了简单而有效的提示模板，用于每个 TKG 五元组的多事件预测。实验结果表明，此方法具有有效性和鲁棒性。

    Jun, 2024

  • 大型语言模型能够学习时间推理

    我们提出了一种新的基于文本的时间推理模型 TempGraph-LLM，通过将上下文翻译成时间图，教导大型语言模型 (LLMs) 学习时间概念。我们证明了在其他任务上的预训练对 LLMs 的效益，并通过思路链的引导和特殊数据增强引导 LLMs 进行符号推理，观察到符号推理带来更一致可靠的结果。

    Jan, 2024

  • 活在当下：大型语言模型能否把握同时推理？

    本研究介绍了 CoTempQA，一个包含四个共时场景的 QA 基准数据集，用于评估大型语言模型的共时理解和推理能力，发现当前模型在 CoTempQA 任务上表现明显低于人类水平，甚至在采用 CoT 方法进行加强后仍然艰难。通过初步探索，发现数学推理在处理共时事件中起着重要作用，并提出了一种从数学角度提升大型语言模型共时推理的策略。希望我们的 CoTempQA 数据集能够鼓励进一步改进大型语言模型的共时推理能力。

    Jun, 2024

  • 大型语言模型增强的聚类新闻事件检测

    通过结合大型语言模型和聚类分析，利用自动化事件检测框架从全球事件、语言和情感数据库（GDELT）中检测新闻事件，并通过关键词提取、文本嵌入、事件摘要和主题标签等任务加强事件聚类，以提供有价值的洞察力和增强新闻报道的准确性和深度。

    Jun, 2024

  • 结构化、复杂且时间完整的时态事件预测

    基于新的结果模型，该研究提出了 SCTc-TE 的简单且全自动的构建方法，并在此基础上开发了一种名为 LoGo 的新型模型，用于 SCTc-TE 的预测，通过构建两个大规模数据集以及广泛的评估实验证明了其优越性。

    Dec, 2023

  • LooGLE: 长文本语言模型是否理解长文本上下文？

    基于 LooGLE 评估模型的表现，研究显示商业模型在短依赖任务上胜过开源模型，同时也揭示了长依赖任务的困难，并指出在短问答任务中检索式技术有着明显的好处，而扩展上下文窗口长度的策略对于长上下文理解的影响有限。

    Nov, 2023

  • STBench: 大型语言模型在时空分析中的能力评估

    该论文通过评估大型语言模型的时空数据理解能力，将其能力分解为知识理解、时空推理、准确计算和下游应用四个维度，并通过构建基准数据集 STBench 以及对 13 个语言模型的评估实验，揭示现有语言模型在知识理解和时空推理任务上表现出色，且通过在上下文学习、思维链提示和微调方面有进一步优化的潜力。

    Jun, 2024

  • 评估 LLMs 在时间泛化上的表现

    大语言模型的发展迫切需要与语言理解和信息处理的提升相适应的评估方法。我们检查了当前的大语言模型，并揭示了它们在时间推理和偏见方面存在的各种时间偏见。我们提出了一个评估框架 Freshbench，用于动态生成最新的现实世界预测性预测的评估基准。

    May, 2024