Sep, 2022

HandMime：通过模仿学习进行手语手指拼写习得

PDF
TL;DR本文提出了一种无需额外信息就能从影片示例中学习手部微妙运动的方法，通过使用预训练的深度视觉模型和最新的强化学习算法（PP0）来训练机器人手模型复制手势运动，并演示了其在 6 个不同手语字母上的成功率。
roboticsfine-grained movementsdexterous motor imitationreinforcement learningfinger-spelling sign language
发现论文，激发创造
  • 从人类示范中学习软体机器手的熟练操作

    本文介绍了一种基于物体为中心示范实现的，用于训练软机械手进行熟练操作的方法，该方法使用增强学习技术，提出了一种新的算法，允许我们混合和选择最可行的示范来学习在硬件上模仿。最后，我们将这种方法应用于 RBO Hand 2 上，并获得了开 / 关阀门，滑珠和抓取等任务的良好表现。

    Mar, 2016

  • Dexterous Imitation Made Easy: 一种基于学习的框架用于高效的器械操作

    提出了一种新的基于模仿学习的框架（DIME），借助单个 RGB 相机观察人类运营，并在多指控制策略上进行了培训，以解决机械手复杂操纵任务的挑战。

    Mar, 2022

  • DexMV：从人类视频中进行巧手操作的模仿学习

    本文提出了一种名为 DexMV（Dexterous Manipulation from Videos）的平台和管道，用于机器人的模仿学习，从而解决复杂的手部操作任务，包括计算机视觉、逆强化学习、多传感器模式等方面。

    Aug, 2021

  • 深度动态模型用于学习灵巧操作

    本文介绍了一种在线规划深度动力学模型的方法，通过这种方法，使用少量真实世界的数据即可进行柔性接触的灵巧操作技能的有效学习，并成功应用于 24 个自由度类人手上。

    Sep, 2019

  • 学习灵巧的手中操纵

    通过强化学习，我们使用模拟环境训练了一种可以使机器人手指进行多指协调、操纵物体并控制重力的新型算法，并且证明该算法可以成功地应用在实物机器人中，为机器人控制领域提供了新的解决方案。

    Aug, 2018

  • 美国手语拼写检测

    本文提出在原始的、未修剪的手语视频中检测指拼的新模型，采用多任务训练方法，同时融合姿态估计和指拼转录，相比其他方法表现得更优，为建立实际应用的指拼识别系统提供了重要的步骤和技术。

    Apr, 2021

  • 走向现实世界中的美国手语处理：数据、任务和方法

    这篇论文研究了自然环境下手语的自动处理，包括手指拼写、手势识别和手语翻译，并提出了新的数据集、任务和方法。

    Aug, 2023

  • 从人类抓握机会学习具有普适性的熟练操作

    本研究提出了使用大规模演示学习熟练操作多指手来处理机器人学中最具挑战性的问题。 主要采用人类抓握可行性模型生成 3D 物体演示，以实现策略的泛化。同时，本研究使用了新颖的模仿学习目标，以及几何表示学习目标，通过在仿真系统中重新定位多样的对象以证明本方法的有效性。

    Apr, 2022

  • 视频中无词典手语识别：数据、模型和手势者自适应

    研究美国手语中指拼字字母的视频序列识别问题，并通过收集和注释新的连续指拼视频数据集，比较多种类型的识别器，探索签名者差异问题。基于深度神经网络的特征，我们的半马尔可夫条件随机场模型在签名者依赖和多签名者情景下均取得较高的字母识别准确率。

    Sep, 2016

  • 野外环境中的美式手语手指拼写识别

    本研究针对美国手语中的手指拼字识别进行了研究，并提出了迄今为止最大的数据集用于手指拼字识别。使用这个数据集，我们提出了在自然出现的视频数据中识别手指拼字序列的第一次尝试，并利用手的检测器和序列模型进行识别。通过对模型变量的影响分析，本研究提供了基准参考，可用于进一步的手语识别研究。

    Oct, 2018