本文提出了一种从人体活动视频中学习社交效应的机器人学习方法，该方法基于生成模型和马尔科夫链蒙特卡罗算法自动发现从 RGB-D 视频中的交互作用，让机器人能够自然地复制这些交互作用的完整体运动。

Apr, 2016

本文介绍了一个大规模多视角 RGBD 视觉可供性学习数据集及其基准测试方法，它包含了来自 37 种对象类别、配有 15 种视觉可供性类别和 35 种杂乱 / 复杂的场景的 47210 个 RGBD 图像。我们提出了一个名为 ARNet 的【可供性识别网络】，证明了该数据集的挑战性以及提出的新的强大的可供性学习算法的明确前景。

Mar, 2022

本论文探讨了如何通过利用互联网视频中的人类行为，训练一个可视化驱动的视觉能力模型，以此实现机器人在现实环境中的复杂任务执行。我们将该模型与四个机器人学习范式无缝连接，并在 4 个现实世界环境、超过 10 种不同任务和 2 个机器人平台中展示了其效力。

Apr, 2023

使用 RGBD 传感器和最大熵隐马尔科夫模型识别人类活动，通过层次化建模的方法，将活动分解为多个子活动，实验结果表明在不同环境下能够识别出 12 种不同的人类活动。

Jul, 2011

本文介绍了一种从 RGB-D 视频中学习社交能力语法的空间时间 AND-OR 图（ST-AOG）的通用框架，并将语法传递给人形机器人，以实现人机交互的实时运动推理。通过对基于吉布斯采样的弱监督语法学习的研究，我们通过构造自动化层次互动的表示形式，同时考虑双方的长期联合子任务和个体代理的短期原子行动。基于具有丰富人际互动实例的新 RGB-D 视频数据集，我们的实验的 Baxter 模拟，人类评价和真实 Baxter 测试表明，该模型能够从有限的训练数据中成功地在看不见的情境中生成人类化的行为，并胜过了基线。

Mar, 2017

本文提出了一种新的方法来从部分观察到的 RGB-D 视频中预测未来的人类活动，使用随机语法模型来捕捉事件的组成结构，作为一个空间时间 And-Or 图 (ST-AOG)，未来的子活动通过 Earley 解析算法预测，我们通过广泛的实验验证了我们模型在语义事件标记和未来活动预测方面的有效性。

Aug, 2017

本文提出了一种有效的注释方案，通过将目标无关的运动动作和抓握类型作为能力标签，并引入机械动作概念来描述两个物体之间的动作可能性，解决了现有数据集中的问题，并通过将此方案应用于 EPIC-KITCHENS 数据集来验证了模型的有效性。

Jun, 2022

本文提出了一种基于 RGB-D 视频的自动活动识别的深度模型，使用 3D 卷积和最大池化算子，结合激活函数以及学习出活动的时间结构，该模型可以直接作用在原始输入上进行活动分类，而且还允许动态调整模型结构以适应人类活动的时间变化，并在挑战性场景下验证了该方法的优越性，同时还给出了一个大型的 RGB-D 视频人类活动数据库。

Jan, 2015

本文介绍了一个包含超过 56,000 个视频样本和 4 百万帧的大规模 RGB + D 人体动作识别数据集，其中包括 60 种不同的行为类别，并提出了一种新的循环神经网络结构来更好地对每个身体部位的特征进行长期时间相关性建模。实验结果表明，在跨主体和跨视图评估标准上，应用深度学习方法比最先进的手工制作特征具有优势。

Apr, 2016

本论文介绍了一个大规模数据集，用于 RGB+D 人体动作识别。研究显示，应用深度学习技术的 3D 人体动作识别方法更加优越，并提出了新的 APSR 解决方案，可以有效地识别新的动作类型。

May, 2019