通过开发一种复杂视频推理和鲁棒性评估套件（CVRR-ES），该研究综合评估了多种最新 Video-LMMs 模型在 11 个不同的现实世界视频维度上的性能，发现大多数 Video-LMMs 模型在处理复杂视频时，特别是开源模型，在鲁棒性和推理能力方面存在困难。此外，作者还提出了一个训练免费的双步骤上下文提示（DSCP）技术以提升现有 Video-LMMs 模型的性能，并为构建具有先进鲁棒性和推理能力的下一代以人为中心的人工智能系统提供了有价值的见解。

May, 2024

在不确定的环境中完成复杂任务的机器人系统的一个新框架，结合大型语言模型（LLMs）、知识库和综合力和视觉反馈（IFVF），通过分析用户的指令和环境，生成代码访问函数数据库并将抽象指令转化为可操作的步骤，并应用 IFVF 来应对噪音和干扰，以实现长期目标的任务。

Jun, 2024

我们的研究工作探索了预训练的视觉语言模型（VLM）和大型语言模型（LLM）在视觉常识推理（VCR）中的协同能力。我们将 VCR 问题分为视觉常识理解（VCU）和视觉常识推断（VCI）两个方面。在 VCU 方面，预训练的 VLM 展示出强大的跨数据集泛化能力。然而，在 VCI 方面，VLM 面临困难。我们提出了名为 ViCor 的协作方法，在 VCI 中通过 LLM 主动引导 VLM 集中关注和收集相关的视觉元素来支持潜在的常识推断。我们的方法在两个 VCR 基准数据集上得到了评估，并且在不需要领域内监督微调的所有其他方法之上取得了优越的表现。

Oct, 2023

本文提出了一种名为 VideoLLM 的新框架，它利用了自然语言处理（NLP）预训练 LLMs 的序列推理能力来进行视频序列理解。通过精心设计的模态编码器和语义转换器，将不同来源的输入转换为统一的标记序列，然后将其馈入仅解码的 LLM 中。在实验中，作者评估了 VideoLLM 在多个任务上的表现，证明了 LLMs 的理解和推理能力可以有效地转移到视频理解任务中。

May, 2023

利用多模态视频理解框架，在长视频和细粒度动作识别基准测试中展示了最前沿的性能表现。

Mar, 2024

该研究介绍了一种新的测试数据集 TiM，用于评估基于大型语言模型的方法在视频推理中的表现，并提出了 Face-Enhanced Viper of Role Interactions（FEVoRI）和 Context Query Reduction（ConQueR）方法以提高性能。

Jun, 2024

通过引入空间和时间抽象例程以及利用少量标记示例自动生成上下文例子，我们提出了一个框架来消除人为构建的上下文例子，从而解决了可视推理中的一些问题并提升了性能。

Jan, 2024

通过综述表明，利用大型语言模型（LLMs）的能力，视频理解工具的发展具有巨大的潜力，并且在空间时间推理和通识知识方面表现出令人惊讶的优势，还展示了在各个领域中应用的强大可扩展性和多功能性。

Dec, 2023

使用视觉语言模型进行语义理解，通过状态机和时间逻辑进行长期演变的事件推理，提高了复杂事件识别的 F1 得分。

Mar, 2024

本文采用模块化网络模型，使用神经网络实现程序生成器和执行引擎，通过反向传播和 REINFORCE 的训练方法，在视觉推理任务（CLEVR）上打破基线模型，表现显著优越，并在各种环境中具有更好的推广性能。

May, 2017