理解时间是人类认知的关键方面，在把握世界的复杂性的更广泛框架中至关重要。通过创建 TimeBench，一个广泛的分层时间推理基准，涵盖了广泛的时间推理现象，我们提出可以全面评估大型语言模型的时间推理能力，对于研究人员来说是一个重要工具。通过在流行的 LLMs 上进行实验，如 GPT-4，LLaMA2 和 Mistral，我们揭示了当今最先进的 LLMs 与人类之间存在显著的性能差距，突出了在时间推理方面仍然存在相当大的差距。我们希望 TimeBench 能够成为一个全面的基准，促进 LLMs 在时间推理方面的研究。该资源可以在此 URL 获取。

Nov, 2023

本文介绍了一个全面的测试数据 empreason 来评估大语言模型的时间推理能力，包括三个时间推理水平的问题，并提出了一种基于时间跨度提取和时间敏感的强化学习的新型学习框架来提高其时间推理能力，并证明了其有效性。

Jun, 2023

该论文介绍了 TRAM（一个由十个数据集组成的时间推理基准），用于评估大型语言模型在时间推理能力方面。使用 GPT-4、Llama2 和 BERT 模型，在需要零样本学习和少样本学习的情况下进行了广泛评估，结果显示这些模型在时间推理任务上仍然落后于人类表现。希望 TRAM 能够促进改进大型语言模型的时间推理能力。

Oct, 2023

大语言模型的发展迫切需要与语言理解和信息处理的提升相适应的评估方法。我们检查了当前的大语言模型，并揭示了它们在时间推理和偏见方面存在的各种时间偏见。我们提出了一个评估框架 Freshbench，用于动态生成最新的现实世界预测性预测的评估基准。

May, 2024

该论文通过评估大型语言模型的时空数据理解能力，将其能力分解为知识理解、时空推理、准确计算和下游应用四个维度，并通过构建基准数据集 STBench 以及对 13 个语言模型的评估实验，揭示现有语言模型在知识理解和时空推理任务上表现出色，且通过在上下文学习、思维链提示和微调方面有进一步优化的潜力。

Jun, 2024

大型语言模型（LLMs）理解世界的关键是对时间进行推理。我们通过系统研究 38 个时间推理任务，提出了能够处理各种时间推理任务的通用框架，其中使用数学数据集为时间推理奠定了坚实基础，并通过自我批评的时间优化方法，提升了模型的时间推理能力。最终，我们开发了 Timo 模型，在 7B 和 13B 规模上在时间推理方面表现出色，并在平均准确度上超过了同类 LLMs 的 10.0 和 7.6，实现了新的最先进性能。通过广泛的实验证明了我们的框架的有效性和在不同时间任务上的泛化能力。

Jun, 2024

本研究介绍了 CoTempQA，一个包含四个共时场景的 QA 基准数据集，用于评估大型语言模型的共时理解和推理能力，发现当前模型在 CoTempQA 任务上表现明显低于人类水平，甚至在采用 CoT 方法进行加强后仍然艰难。通过初步探索，发现数学推理在处理共时事件中起着重要作用，并提出了一种从数学角度提升大型语言模型共时推理的策略。希望我们的 CoTempQA 数据集能够鼓励进一步改进大型语言模型的共时推理能力。

Jun, 2024

我们提出了一种新的基于文本的时间推理模型 TempGraph-LLM，通过将上下文翻译成时间图，教导大型语言模型 (LLMs) 学习时间概念。我们证明了在其他任务上的预训练对 LLMs 的效益，并通过思路链的引导和特殊数据增强引导 LLMs 进行符号推理，观察到符号推理带来更一致可靠的结果。

Jan, 2024

本文提出了解释性时间推理的首个任务，即通过对多个事件进行多步骤的时间推理和对未来时间戳的预测，预测事件在未来时间戳上的发生，并提供清晰的解释。我们基于多源指导调整数据集和知识图谱生成策略，提出了第一个支持解释性时间推理的开源 LLM 系列 TimeLlaMA，该方法在时间预测和解释方面取得了最先进的性能。

Oct, 2023

本论文通过构建 MenatQA 来评估大型语言模型（LLMs）在时间理解和推理能力方面的表现，并测试了不同参数大小的主流 LLMs。结果表明，大多数 LLMs 在处理不同程度的时间因素时不如更小的时间推理模型，并且对时间偏差的敏感度较高，且严重依赖于问题中提供的时间信息。此外，本文还探索了通过具体提示和外部工具来改进 LLMs 的潜在策略，为未来的研究提供了有价值的基准或参考。

Oct, 2023