本研究解决了机器人领域中的操控问题，并设计了一种新的方法来快速而准确地确定机器人操控物体的最佳抓取点。我们的方法利用了一种名为快速视觉变形器（FViT）的神经网络，该网络专为处理视觉数据并预测最合适的抓取位置而设计。我们的方法在速度上展示出卓越的性能，同时保持了高水平的准确性，将有望在实时机器人抓取应用中得到应用。我们相信，这项研究为未来基于视觉的机器人抓取应用研究提供了基准。其高速和准确性将使研究人员更接近真实生活应用。

Nov, 2023

通过强化学习 (RL) 和监督学习同时训练具有抗外部牵引力的运动控制器以及外力估计器，从而实现稳定行走和对人类外部力的响应，进而引导机器人达到未知的全局目标，并通过局部规划器引导人类绕过附近的障碍物，实验结果表明我们的控制器能够抵御外部力，我们的盲人导盲机器人系统能够准确检测外力方向。

Sep, 2023

通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

Dec, 2023

我们提出了一种新颖的方法，通过 MOMA-Force 实现了移动操纵器在多个接触丰富的操作任务中的高效和稳健的操纵。

Aug, 2023

提出了一种基于在线抓取姿势融合的可抓取性感知移动操作方法，用于在接近目标并抓取时有效观察目标，通过通过在线整理抓取姿势，消除冗余和异常值，并将其编码为一个抓取姿势观察状态，用于强化学习。此外，实时融合抓取姿势可直接评估抓握可行性，包括抓握姿势的数量和质量。

Sep, 2023

通过创建新的视触觉数据集，使用深度神经网络模型进行训练，并将不同的视觉和状态数据输入泛化为混合数据集训练的通用管线，该研究展示了在微创机器人手术中，混合实验设置用于视觉状态力估计是解决问题的一个可行方法。

Jan, 2024

本文介绍了一种基于机器学习的系统，用于仅基于视觉感知控制机器人操作器。首次展示了只从原始像素图像学习机器人控制器的能力，而不需要对配置有任何先前知识。我们建立在最近深度强化学习的成功基础之上，并开发出一种利用外部视觉观察学习三关节机器人操作器目标到达的系统。经过在仿真中的训练后，Deep Q 网络（DQN）被证明能够执行目标到达。将网络转移到真实硬件和真实观察的朴素方法失败了，但实验证明在用合成图像代替相机图像时，网络可以正常工作。

Nov, 2015

使用自然注视和运动特征来预测当前动作和目标对象的一个意图估计框架，可在较拥挤的场景中在单手或双手操作时进行训练和测试，并提出了一个基于规则的模型来识别双手操作。

Aug, 2022

该研究针对机器人的操作问题，使用深度传感器感知场景，并且在六维空间内移动其末端执行器的 3D 位置和方向。 使用马尔可夫决策过程的方法来解决问题，通过层次 SE（3）采样方法添加动作约束以达到任务目标，论文展示了该方法对于三个具有挑战性的摆放任务（均为杂乱的非常规场景）的有效性，且所有的训练均在模拟环境中进行。

Jun, 2018

本文介绍一种视觉伺服方法，用于对象抓取和更一般地，将末端执行器与对象对齐的问题。首先，我们扩展了 Espiau 等人提出的方法 [1]，适用于没有安装在被控制机器人上的相机，并强调实时估计图像雅可比的重要性。其次，我们展示了如何使用非校准的立体摄像头设置，在三维射影空间中表示抓取或更一般地表示两个物体之间的对齐。这种三维射影表示是视角无关的，可以轻松映射到图像设定点，不需要任何关于相机参数的知识。第三，我们对视觉伺服算法的性能和这种方法能够获得的抓握精度进行了分析。

Nov, 2023