Jun, 2024

ReXTime: 视频跨时间推理的基准套件

PDF
TL;DRReXTime 是一个基准测试，旨在严格测试 AI 模型在视频事件中执行时间推理的能力。它专注于跨时间的推理，即当问题及其相应答案发生在不同的视频片段时的人类理解。我们介绍了一个自动化流程，用于生成时间推理问题 - 答案对，大大减少了对手工注释的需求。评估结果显示，虽然前沿的大型语言模型优于学术模型，但它们仍然落后于人类表现，存在 14.3％的显著准确性差距。此外，我们的流程还创建了一个培训数据集，包含 9,695 个机器生成的样本，无需人工工作，经验研究表明这可以通过微调提升跨时间推理能力。
发现论文，激发创造
  • TimeBench：大型语言模型中的时间推理能力全面评估

    理解时间是人类认知的关键方面，在把握世界的复杂性的更广泛框架中至关重要。通过创建 TimeBench，一个广泛的分层时间推理基准，涵盖了广泛的时间推理现象，我们提出可以全面评估大型语言模型的时间推理能力，对于研究人员来说是一个重要工具。通过在流行的 LLMs 上进行实验，如 GPT-4，LLaMA2 和 Mistral，我们揭示了当今最先进的 LLMs 与人类之间存在显著的性能差距，突出了在时间推理方面仍然存在相当大的差距。我们希望 TimeBench 能够成为一个全面的基准，促进 LLMs 在时间推理方面的研究。该资源可以在此 URL 获取。

    Nov, 2023

  • 针对大型语言模型的时间推理能力的基准测试和改进

    本文介绍了一个全面的测试数据 empreason 来评估大语言模型的时间推理能力，包括三个时间推理水平的问题，并提出了一种基于时间跨度提取和时间敏感的强化学习的新型学习框架来提高其时间推理能力，并证明了其有效性。

    Jun, 2023

  • TRAM：大型语言模型的时间推理基准评估

    该论文介绍了 TRAM（一个由十个数据集组成的时间推理基准），用于评估大型语言模型在时间推理能力方面。使用 GPT-4、Llama2 和 BERT 模型，在需要零样本学习和少样本学习的情况下进行了广泛评估，结果显示这些模型在时间推理任务上仍然落后于人类表现。希望 TRAM 能够促进改进大型语言模型的时间推理能力。

    Oct, 2023

  • 时光考验：评估 LLMs 在时间推理上的基准

    针对大型语言模型在时间推理任务中的性能，在引入新颖的合成数据集的基础上，对问题结构、尺寸、问题类型、事实顺序等因素对大型语言模型性能的影响进行了系统研究，从而提供了对当前大型语言模型在时间推理任务中优点和不足的有价值洞察。

    Jun, 2024

  • 回到未来：面向大型语言模型的可解释性时间推理

    本文提出了解释性时间推理的首个任务，即通过对多个事件进行多步骤的时间推理和对未来时间戳的预测，预测事件在未来时间戳上的发生，并提供清晰的解释。我们基于多源指导调整数据集和知识图谱生成策略，提出了第一个支持解释性时间推理的开源 LLM 系列 TimeLlaMA，该方法在时间预测和解释方面取得了最先进的性能。

    Oct, 2023

  • Timo：朝着更好的语言模型时态推理

    大型语言模型（LLMs）理解世界的关键是对时间进行推理。我们通过系统研究 38 个时间推理任务，提出了能够处理各种时间推理任务的通用框架，其中使用数学数据集为时间推理奠定了坚实基础，并通过自我批评的时间优化方法，提升了模型的时间推理能力。最终，我们开发了 Timo 模型，在 7B 和 13B 规模上在时间推理方面表现出色，并在平均准确度上超过了同类 LLMs 的 10.0 和 7.6，实现了新的最先进性能。通过广泛的实验证明了我们的框架的有效性和在不同时间任务上的泛化能力。

    Jun, 2024

  • 活在当下：大型语言模型能否把握同时推理？

    本研究介绍了 CoTempQA，一个包含四个共时场景的 QA 基准数据集，用于评估大型语言模型的共时理解和推理能力，发现当前模型在 CoTempQA 任务上表现明显低于人类水平，甚至在采用 CoT 方法进行加强后仍然艰难。通过初步探索，发现数学推理在处理共时事件中起着重要作用，并提出了一种从数学角度提升大型语言模型共时推理的策略。希望我们的 CoTempQA 数据集能够鼓励进一步改进大型语言模型的共时推理能力。

    Jun, 2024

  • NExT-QA：问答到解释时间动作的下一阶段

    介绍了 NExT-QA，它是一个具有严谨设计的视频问答基准，旨在将视频理解从描述转化为解释时间动作；通过分析基线和现有的视频问答技术，发现表现最好的方法擅长浅层场景描述，但在因果和时间动作推理方面较弱。通过详细结果和启发式观察，希望 NExT-QA 能引导下一代视频问答研究超越表面的场景描述，实现对视频更深入的理解。

    May, 2021

  • 语言模型对于时间序列零样本推理仍然存在困难

    时间序列推理是语言模型研究中一个有影响力但尚未充分发展的方向，本研究提出了一个新颖的时间序列推理评估框架，研究了三种推理形式的表现，并发现语言模型在时间序列推理方面仍存在局限性。

    Apr, 2024

  • VideoVista: 视频理解和推理的通用基准测试

    通过提供综合评估多模态大型模型在视频理解和推理中的性能的全方位评估基准 VideoVista，本文揭示了视频 LMM 面临的困难、推理能力的不足以及开源视频 LMM 的性能低于 GPT-4o 和 Gemini-1.5 的问题，强调了 VideoVista 在推进精确理解视频和执行精准推理的 LMM 中的关键作用。

    Jun, 2024