本论文提出了 Social-BiGAT，一种基于图形的生成对抗网络，可通过更好地建模场景中行人之间的社交互动来生成逼真的多模态轨迹预测。与现有文献相比，我们通过图形注意力网络（GAT）学习可靠的特征表示来编码场景中人类之间的社会互动，以及逆变换场景和潜在噪音向量之间的关系，相对于其他基准测试结果，该框架实现了最先进的性能。

Jul, 2019

本文介绍一种名为 GENESIS 的三维视觉场景对象生成模型，通过捕捉场景组件之间的关系，能够分解和生成场景，并在公开数据集上进行了性能评估和半监督学习。

Jul, 2019

SG-Bot 是一种新颖的重新排列框架，利用分级的场景图作为场景表示，通过观察、想象和执行三个步骤，灵活地处理对象重新排列任务，并通过生成模型形成目标场景，此外，实验结果表明 SG-Bot 在性能上超过竞争对手很大一个幅度。

Sep, 2023

本文提出了一种基于层次化对象中心生成模型的场景理解方法，利用神经启发式的行动和感知框架实现了代理的对象类别和姿态的推断，并提出了一个新的基准来评估主动视觉代理的行为，并表明我们的主动推理代理在平衡认知觅食和目标驱动行为方面表现优异，远胜于监督和强化学习基线。

Feb, 2023

通过智能化系统，结合大规模感知器在物联网中产生的时空数据，我们提出了一种名为 CityGPT 的通用框架，以实现对物联网时间序列数据的学习和分析，从而增加公众对数据的洞察力，并在物联网计算中保证了稳健性能。

May, 2024

本文提出了一种新的视频字幕生成方法 OA-BTG，该方法利用基于目标感知聚合和双向时间图 (OA-BTG) 来捕捉视频中显著目标的详细时间动态，从而学习具有区分性的时空表示。实验表明 OA-BTG 在 BLEU@4、METEOR 和 CIDEr 指标上达到了最先进的性能。

Jun, 2019

提出了一种基于文本提示的高分辨率视频查询的视觉 - 语言神经框架，名为 Bi-directional Spatio-Temporal Learning（BiST）。结果表明，BiST 在视频段落检索（AVSD）基准测试中取得了有竞争力的性能并产生了合理的响应。另外，在 TGIF-QA 基准测试中，BiST 模型比先前的方法表现更好。

Oct, 2020

本研究介绍了一种结合了近期深度物品类神经网络的主题对象活跃推理（OBAI）的模型，该模型通过独立信念来表征不同物体，使用选择性注意力将输入路由到相应的物体插槽，并学习动态和生成模型，从而正确地将行动扰动物体从视频输入中分割，并将这些物体朝任意目标运动。

Sep, 2022

本研究主要关注多意图的口语理解，提出了一个多意图数据集，使用 BiRGAT 模型编码本体项的层级结构，并配合三路指针生成器解码器，在实验中取得了显著优于传统序列标签和基于分类的方案的结果。

Feb, 2024

我们介绍了 Gather-Attend-Scatter（GATS），这是一种新的模块，它使得可以将预训练的基础模型（可训练和冻结的）无缝组合成更大的多模态网络，GATS 赋予 AI 系统能力，可以以不同速率处理和生成来自多个模态的信息。与传统的微调不同，GATS 允许原始组件模型保持冻结，以避免它们在预训练阶段获得的重要知识丧失的风险。我们通过在游戏，机器人和多模态输入输出系统中进行几个实验，展示了 GATS 的实用性和多功能性。

Jan, 2024