本文提出了一种基于核范数优化的运动捕捉方法，该方法不需要特定的相机或物体运动，并且不依赖于训练数据或先前确定的约束条件，能够重建具有有限相机运动和先前未见过的运动的情景，适用于人体骨架、动物或工业机器人等其他运动链

Feb, 2017

通过将视觉观察输入和行动轨迹输出转化为文本预训练的转换器（GPT-4 Turbo）可以接收和生成的标记序列，我们展示了现成的文本转换器可以在无需额外训练的情况下进行少样本上下文中的视觉模仿学习，模拟演示者的行为，从而将视觉观察映射到动作序列。在这种低数据情况下，我们表明这些转换器在将标记化的视觉关键点观察转化为行动轨迹方面的表现与最先进的模仿学习（扩散策略）相媲美甚至更好，而不是像通常的语言领域那样操作，Keypoint Action Tokens（KAT）利用基于文本的转换器在视觉和动作领域学习演示数据中的常规模式，为重塑自然语言模型用于具体任务指出了具有前景的新途径。

Mar, 2024

本研究提出 RVT，一种基于多视角变形器的三维物体操作方法，在模拟和实际环境中均表现出色，相对于现有方法，其训练速度快 36 倍，推理速度快 2.3 倍，并仅需每项任务约 10 次演示即可达到良好的效果。

Jun, 2023

本文提出了一种基于 Transformer 的视频识别框架 VTN，它相比于传统的 3D ConvNets，通过整个视频序列的注意力机制实现动作分类，并在训练和推断时分别快 16.1 倍和 5.1 倍，同时在 Kinetics-400 数据集上获得了有竞争力的结果，表明了精度和推断速度之间的权衡。

Feb, 2021

通过在大型语言模型（LLMs）中引入物体的运动学知识，我们提出了一个运动学感知的提示框架，来生成各种物体操作的低层运动轨迹航点，从而实现智能机器人的通用操控。我们的实验结果表明，该框架在 8 个已知物体类别上表现优于传统方法，并且在 8 个未知的关节式物体类别上展现出强大的零样本能力。同时，我们在 7 个不同的物体类别上进行的真实世界实验也证明了该框架在实际场景中的适应性。

Nov, 2023

本文介绍了一种训练更强大的视频视觉变换器的经验结果，使用了诸如增强、分辨率和初始化等技术，并在 EPIC-KITCHENS-100 数据集上进行了探索，单个 ViViT 模型在验证集上取得了 47.4% 的性能，超过原始文献报告的 3.4%。

Jun, 2021

提出了一种利用 Vision Transformers（ViTs）和 Visual Language Models（VLMs）之间的互补优势的 Four-tiered Prompts（FTP）框架，通过改进视觉编码并对齐 VLM 输出，从而实现对视频中人类行为的具体方面的处理，对 Kinetics-400 和 Something-Something V2 数据集上的视频行为理解任务分别达到了 93.8% 和 83.4% 的顶级准确率，超过 VideoMAEv2 分别 2.8% 和 2.6%。

Mar, 2024

本篇研究提出了一种基于非线性知识转移的深度神经网络模型 (R-NKTM)，通过寻找连接未知视角和共享高级虚拟视角的非线性虚拟路径，将人类行为的知识从任何未知视角传输到高级虚拟视角，从而实现人类行为的识别和分类，适用于不同的动作和视角。在多个数据集上的实验结果表明，该方法优于现有的最先进技术。

Feb, 2016

以多任务学习为基础，提出一种通过演示学习从而训练低成本机械臂控制器，以便完成数个拾取放置任务及非预抓取式操控操作的技术，使用原始图像作为输入并生成机器人臂路径的基于循环神经网络的控制器，参数在任务之间共享；同时结合基于 VAE-GAN 重建以及自回归多模态行为预测的控制器模型。结果表明，可以通过行为克隆直接从原始图像中学习复杂的操纵任务，例如拾起毛巾、擦拭物体并将毛巾放回原位等，权重共享和基于重构的正则化大大提高了泛化性和鲁棒性，同时同时训练多个任务能够增加所有任务的成功率。

Jul, 2017

本文提出了一种基于物体的行动视觉先验的方法，即预测密集的几何感知、交互感知和任务感知的行动特征，结合强化学习策略和感知模块进行训练，通过探索多样的交互轨迹和总结概括所探索的知识来实现更好的感知 - 交互效果，并在大规模数据集上验证了其有效性和推广能力。

Jun, 2021