建筑中用于混凝土孔的铆钉插入是一个钉孔任务，为了减轻自动化这一任务所面临的挑战，我们引入了一个针对光照和孔面条件具有鲁棒性的视觉和感知数据驱动的机器人控制模型。该模型通过空间注意点网络和深度增强学习策略的联合训练，以端到端的方式来控制机器人。该模型通过离线训练，在减少训练时间和最小化将模型转移到实际世界时的现实差距方面具有高效率。通过在 12 个未知孔上进行工业机器人的评估实验，从 16 个不同的初始位置开始，并在三种不同的照明条件下（其中两种有误导性阴影），我们证明了空间注意点网络即使在具有挑战性的光照条件下也能够生成相关的图像关注点。我们还展示了所提出的模型使任务执行的成功率更高，并且任务完成时间更短，高于各种基准。由于所提出的模型在严峻的光照、初始位置和孔条件下的高效性，以及离线训练框架的高样本效率和短训练时间，这种方法可以很容易地应用于建筑领域。

Dec, 2023

通过强化学习训练循环神经网络，机器人成功地在高精度装配机械零件过程中，表现出更高的精度和鲁棒性。

Aug, 2017

本研究使用深度学习和强化学习方法解决机器人的熟练操作任务，同样使用了 DDPG 算法来扩展其功能以实现更高效的数据利用与可伸缩性，成功地使用现实世界的抓取和叠放机器人的交互数据训练出其掌握复杂熟练操作技能的有效策略模型。

Apr, 2017

解决机器人快速、安全地学习插入技能的问题。提出了一种基于 InsertionNet 的方法，利用多模态输入和对比学习实现高效特征学习；引入一种关系网络方案实现了能够支持多步插入任务的一次性学习技术。该方法在 16 个真实插入任务中实现了近乎完美的得分，并最小化了插入时的执行时间和接触。同时，展示了该方法解决一个真实的三步插入任务并无需学习的能力。

Mar, 2022

为了避免混凝土高摩擦系数的负面影响，本文提出了一种使工业机器人能够完成混凝土孔洞中的桩入洞任务的方法。该方法利用经过强化学习训练的深度神经网络来有效地找到具有不同形状和表面处理的孔洞，而无需进行分析建模或控制参数调整。经过评估，结果显示该神经网络具有 96.1％的平均成功率和 12.5 秒的平均执行时间，验证了该方法在建筑行业的有效性和适用性。

Mar, 2024

本研究提出了一种深度强化学习算法来解决机器人拾取和放置问题，通过将操作定义为手的目标位置并将状态定义为已达到的历史位置，使算法能够在未知对象几何结构情况下解决大量拾取和重抓问题，并只需依靠传感器感知信息和已知的对象一般类别。实验结果表明，该算法明显优于基于形状基元的基准模型。

Jul, 2017

本文提出了一种基于纯视觉强化学习的插入任务解决方案，并提出了一种新颖的 Sim2Real 策略 Real2Sim，该策略在政策适应方面具有优势。

Jun, 2022

本文提出了一种基于触觉传感器的 NewtonianVAE 模型，结合机械臂插入任务中的握姿补偿，针对物理环境中插入 USB 插头的精确姿态定位问题进行了实验研究。实验结果表明，该模型在图像到物理坐标的映射等方面具有相对更高的准确性，相比基于卷积神经网络的传统两阶段目标姿态回归方法表现更为优异。

Mar, 2022

这项研究使用软手腕来解决机器人装配中具有代表性且具有挑战性的插入孔位任务，其可以比刚性手腕更安全操作且容忍较低频率的控制信号。我们使用部分可观察的形式并通过展示学习和基于记忆的深度强化学习来训练一个完全基于触觉和本体感知信号行动的智能体。此外，我们利用潜在的领域对称性以提高样本效率，并通过构建辅助损失推动智能体遵守对称性。在模拟环境中，我们的智能体在五个不同的对称插头形状上显示出与基于状态的智能体相当甚至更好的性能。特别是，样本效率还使我们能够在 3 小时内直接在真实机器人上学习。

Feb, 2024

本文利用强化学习 (Reinforcement Learning，RL) 自动化硬件特洛伊（Hardware Trojan, HT）嵌入过程，以消除制约 HT 检测方法成果的人为偏见。作者开发的工具集可以将组合 HT 插入 ISCAS-85 基准套件，具备 HT 大 小和触发条件的变化性，并证明了其效果高，输入覆盖率高达 100％，所插入的 HT 具有最小的体积和罕有的激活概率。

Apr, 2022