本文提出了一种名为DexMV（Dexterous Manipulation from Videos）的平台和管道，用于机器人的模仿学习，从而解决复杂的手部操作任务，包括计算机视觉、逆强化学习、多传感器模式等方面。

Aug, 2021

提出了一种新的基于模仿学习的框架（DIME），借助单个RGB相机观察人类运营，并在多指控制策略上进行了培训，以解决机械手复杂操纵任务的挑战。

Mar, 2022

提出了双手灵巧操纵仿真器Bi-DexHands，可用于机器人学习多种操纵技巧，其中单一代理策略PPO可达到人类48个月婴儿的操作水平，而多代理策略可进一步帮助掌握需要灵巧双手协作的操作任务，但现有RL算法在多任务和少样本学习设置下仍需要更深入的研究。

Jun, 2022

借鉴人类，提出了一种新颖的角色分配框架：一个稳定的手臂将物体固定在原位以简化环境，而另一个执行手臂执行任务。通过BimanUal Dexterity from Stabilization (BUDS) 实现了该框架，并在真实世界的机器人上评估了其性能，在各种复杂性的四个双手任务中，仅通过20次演示，BUDS 在任务套件中实现了 76.9% 的成功率，且能够以 52.7% 的成功率推广到同一类别的不同对象。BUDS 比基于 BC 稳定策略的非结构化基线成功率提高了 56.0%，这是由于这些复杂任务所要求的高精度。

Sep, 2023

通过DexCap便携式手部动作捕捉系统和DexIL创新的模仿算法，实现从人类手部动作数据中直接训练机器人掌握人类类似的灵巧操作技能，并通过6个巧妙操作任务的广泛评估，证明了该方法在性能和对野外动作数据的学习效果上的优越性，为灵巧操作的未来数据收集方法铺平了道路。

Mar, 2024

利用人类示范视频和自我监督策略微调，我们提出了一种名为ScrewMimic的框架，通过将两只手之间的相互作用建模为串行运动链形式进行双手操作，从而实现机器人学习双手操作行为。实验结果表明，ScrewMimic能够从单个人类示范视频中学习多种复杂的双手操作行为，并且在解释示范和直接在两只手的原始运动空间进行微调的基准方法上表现出更好的性能。

May, 2024

本文介绍了一种适用于双手操作的新型关键姿势条件一致性策略，该策略以层次化的模仿学习框架为基础，通过预测关键姿势指导轨迹生成，并在一阶段任务完成时标记，通过快速推理生成行动序列，实验结果表明该方法在成功率和操作效率方面优于基线方法。

Jun, 2024

本研究针对模仿学习算法在工业高精度环境中的应用，探讨了其超参数敏感性、培训简易性、数据效率和性能等方面的缺乏研究。通过对多接触复杂双手操作任务的评估，揭示了不同算法在应对环境和超参数扰动、训练需求、性能及易用性方面的差异，为选择合适的模仿学习算法提供了实证依据。

Aug, 2024

本研究针对双手灵巧操控这一机器人领域的重要但尚未深入研究的问题，提出了一种新颖的方法，通过丰富的人类示范有效学习多样的双手灵巧技能。研究展示的BiDexHD框架能够在多任务间共享行为，推动了通用双手灵巧操控的进展，其在TACO数据集上的实证评估显示了84.59%的任务完成率，突显了其在零样本迁移能力上的有效性。

Oct, 2024

本研究解决了机器人操控中模仿学习对大数据集需求的高成本问题，提出了SkillMimicGen（SkillGen），一个从少量人类演示生成演示数据集的自动化系统。通过分割、适配和粘合操作技能，SkillGen显著提升了数据生成和策略学习性能，成功生成了24,000多个演示，并在实际操作中实现了零样本的模拟到真实转移。

Oct, 2024