Dec, 2023

可变条件下稳健的插销孔任务的视觉空间注意力与本体感驱动强化学习

TL;DR建筑中用于混凝土孔的铆钉插入是一个钉孔任务,为了减轻自动化这一任务所面临的挑战,我们引入了一个针对光照和孔面条件具有鲁棒性的视觉和感知数据驱动的机器人控制模型。该模型通过空间注意点网络和深度增强学习策略的联合训练,以端到端的方式来控制机器人。该模型通过离线训练,在减少训练时间和最小化将模型转移到实际世界时的现实差距方面具有高效率。通过在 12 个未知孔上进行工业机器人的评估实验,从 16 个不同的初始位置开始,并在三种不同的照明条件下(其中两种有误导性阴影),我们证明了空间注意点网络即使在具有挑战性的光照条件下也能够生成相关的图像关注点。我们还展示了所提出的模型使任务执行的成功率更高,并且任务完成时间更短,高于各种基准。由于所提出的模型在严峻的光照、初始位置和孔条件下的高效性,以及离线训练框架的高样本效率和短训练时间,这种方法可以很容易地应用于建筑领域。