通过使用编码器 - 解码器架构、模态分析器和场景图问题解答模型，我们提出了一种新的学习策略，可以提高关于行动效果的推理能力，并在 CLEVR_HYP 数据集上对我们的系统进行了评估。

Dec, 2022

本文综述了在视觉和语言领域中，关于 “行动与变化推理” 的先前研究任务、基准数据集、各种技术和模型以及它们的表现。最后，我们总结了我们的主要收获，讨论了当前这个研究领域面临的挑战，并概述了未来研究的潜在方向。

Jul, 2022

对于动态环境、互动场景和常识推理等任务，大型语言模型在对行为和变化的推理方面面临着重要的挑战，因此引入了一个新的 ActionReasoningBench 基准来评估大型语言模型在行为和变化推理的八个不同领域上的性能。我们的结果表明，这些模型在基准中的所有类别都面临着重大挑战。

Jun, 2024

我们提出了一种基于场景图和强化学习的方法来解决视觉问答任务，实验结果表明该方法在 GQA 数据集上已达到接近人类水平的效果。

Jul, 2020

使用基于 Transformer 的语言模型，针对行动与变化的推理问题提出了 TRAC 基准测试，该测试提供了各种复杂性的问题，旨在更加精准地评估模型的结构泛化能力。实验结果表明，需要额外努力来解决 TRAC 带来的挑战。

Nov, 2022

本文提出使用图神经网络对场景中的操作、物体可用性进行详细的推理，并解决了在特定环境下不应该采取某些行动以及采取这些行动后可能发生的情况的问题。

Dec, 2017

通过基于图神经网络的模型，我们能够有效捕捉语义角色之间的联合依赖关系，从而在预测图像中最显著的动词和填充其语义角色时取得显著提升，实验证明我们的方法在情境识别中表现优异。

Aug, 2017

我们提出了 Egocentric Action Scene Graphs (EASGs)，一种用于理解视角视频的长篇形式的新表示。通过提供相机佩戴者执行的动作、互动对象及其关系以及动作在时间上的展现的时间演变基于图的描述，EASGs 扩展了 egocentric 视频的标准手动注释表示。通过一种新的注释过程，我们通过添加手动标注的 Egocentric Action Scene Graphs 扩展了 Ego4D 数据集，为长篇理解的 egocentric 视频提供了丰富的注释。因此，我们定义了 EASG 生成任务并提供了一种基准方法，建立了初步的基准。针对两个下游任务（egocentric action anticipation 和 egocentric activity summarization）的实验突出了 EASGs 在长篇 egocentric 视频理解方面的有效性。我们将发布数据集和代码以复现实验和注释。

Dec, 2023

本研究论文提出了基于神经符号方法，利用场景图像来进行文本图像检索的解决方案，并训练了一种可学习的图匹配算法来实现检索任务，并实现了一个基于交互式问答的迭代检索框架。

Nov, 2019

本文通过实验探讨使用场景图（Scene Graphs）解决视觉问答（Visual Question Answering）任务。作者采用图像 + 问题架构研究场景图的各种生成技术，建议一套训练课程以利用人类注释和自动生成的场景图，并通过构建后期融合结构来学习多个图像表示。这份研究提供了使用场景图解决 VQA 的多方面研究，是其类型中的首次探索。

Jan, 2021