从群体视频观测中提取可理解控制器
本文介绍一种可以从视频演示中提取概括性规则的模型，并探讨了其处理多个序列的能力，从而相较于传统的概括技术可以更好地利用边缘情况，并无需进行额外的过滤。通过在 Vizdoom 环境中合成程序的实验，取得了相对于现有工作的 11.75% 的程序准确性的提升。
Feb, 2023
本文介绍了一种端到端的无监督深度学习框架，基于录制的视频可以揭示物体运动的明确控制方程，在物理坐标系中建立其物理规律，并通过数值积分器和稀疏回归模块，同时解决了文献中尚无现有方法适用的问题，并成功地应用于几个动态系统的记录。
May, 2022
该研究介绍了一种使用可控模型和神经网络生成具有自定义运动控制、背景及外观的人物影像序列的方法，展示了该方法在多个舞蹈家和运动员视频中的高质量表现。
Apr, 2019
将从追逐 - 逃避互动中学习战略性机器人行为这一实际约束下的问题转化为一个监督学习问题，其中完全可观测的机器人策略为部分可观测的机器人策略生成监督信号，并发现这个监督信号的质量依赖于两个关键因素：逃避者行为的多样性与最优性的平衡以及完全可观测策略中的建模假设的强度。在野外的追逐 - 逃避互动中，我们部署了这个策略在一台带有 RGB-D 相机的四足机器人上，尽管面临各种挑战，感知限制激发了创造力：机器人在不确定时努力收集信息，从嘈杂的测量中预测意图，并为了拦截而提前预判。
Aug, 2023
研究对象学习通用设置，构建代理可从第三人称的视频中学习并操作未见过的物体，通过分层式结构实现，高级模块生成子目标序列，低级控制器实施，无需完整状态信息，实验展示在 Baxter 机器人上完成倒和放置物体等操作。
Nov, 2019
通过学习深度的感知动作策略，使用对比学习从输入图像中提取固定特征表示，通过两阶段的作弊式学习框架训练神经网络策略，将视觉驱动的自主无人机竞赛问题转化为了提取原始图像的特征表示进行控制命令推断，无需全局一致的状态估计、轨迹规划和手工控制设计。该方法不仅可使控制策略更具有鲁棒性，而且可以实现与状态法相同的赛车性能，为开发纯靠图像输入控制无人机的智能视觉自主系统铺平了道路。
Oct, 2022
基于强化学习的高度数据驱动方法用于视觉全身人形控制，通过层级世界模型生成指令以执行，实现了在模拟 56 自由度人形机器人的 8 个任务上高性能控制策略的合成。
May, 2024
通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。
May, 2023
我们提出了一种方法，通过仅利用许多不同设置的少量实际交互轨迹，使机器人能够有效地学习操纵技能，并由此建立了一个基于人的视频的结构化行为空间，从而使不同的机器人能够在复杂环境下学习各种操纵技能。
Aug, 2023