本文提出了一种基于视觉观测的学习方法，使用两阶段的 State-to-Go (STG) Transformer 训练出内在奖励进行强化学习，实现了利用仅有视频数据解决视觉强化学习任务的潜力，并在 Atari 和 Minecraft 等数据集上表现出了比基线更好的性能。

Jun, 2023

介绍了一种名为 Visual Generative Adversarial Imitation from Observation using a State Observer (VGAIfO-SO) 的新算法，该算法使用自我监督的状态观察器从高维图像中提供低维本体感知状态表示的估计，从而更有效地从仅视频演示中学习，并且有时可以实现接近于有特权访问演示者本体感知状态信息的 GAIfO 算法的性能。

Feb, 2022

我们提出了一种多任务学习模型 ActionFlowNet，将外部光流数据输入到卷积神经网络中，同时训练网络以从原始像素中直接识别动作和估计光流，从而捕捉单个模型中的外观和运动信息，提高动作识别准确率。

Dec, 2016

我们提出了一种基于 Argoverse 的有效基准线方法，旨在利用用于 Motion Prediction 的最新技术，包括注意力机制和 GNNs，来生成可行的多模态轨迹，以较少的操作和参数实现与其他 SOTA 方法相当的准确性。

Sep, 2023

提出了一种新的多视角空间 - 时间 AND-OR 图表示方法，它能在未知视角下从 2D 视频输入中识别出跨视角动作，并通过基于 Kinect 相机获得 3D 人体骨骼数据进行训练，有效提高了在 2D 视频上的跨视角动作识别准确性和鲁棒性。

May, 2014

提出了一种名为 MVFuseNet 的方法，在利用脉冲激光雷达（LiDAR）数据时，通过多视图联合学习以及多尺度特征提取的方式，实现了目标检测和运动预测，取得了最新的技术成果，并且验证了该方法在大范围的自动驾驶数据集上可以很好地拓展并保持实时性能。

Apr, 2021

本研究提出了 VLocNet ++ 体系结构，采用多任务学习方法来利用学习语义，回归 6-DoF 全局姿势和里程计之间的相互关系，以使每个任务都获得相互的好处。我们的网络通过同时将世界的几何和语义知识嵌入姿势回归网络来克服上述限制。大量实验证明，我们的方法均能胜过以本地特征为基础的方法，同时实现多个任务并在挑战性场景中表现出相当的鲁棒性。

Apr, 2018

本研究提出了一种新的基于卷积神经网络的多任务全局姿态矫正和里程计评估方法 VLocNet，该模型结构紧凑、可实现实时推断，并采用了一种新颖的辅助损失函数来利用相关位姿信息进行训练，在室内和户外数据集上的实验结果表明，该模型具有可与 SIFT 算法媲美、甚至优于其表现的定位精度。

Mar, 2018

本文提出了一种基于 2D CNN 骨干网络的新的多视图融合（MVF）模块，用于视频动作识别中的时空建模，并利用可分离卷积实现了高效处理，实验结果表明，该方法在不降低识别精度的情况下降低了模型复杂度。

Dec, 2020

本文提出了一个基于图形结构的框架，包含可视化预测模块及提案网络模块，利用低维潜在空间进行常规复杂操作的动作计划，验证了在模拟环境和实际机器人中制定可行的任务完成方案及操作计划。

Mar, 2020