神经体积记忆用于视觉行动控制
本文提出一种基于学习的方法,重建移动机器人行进城市环境中的局部地形,通过算法估计机器人周围的地形,采用 4D 全卷积网络,可以利用合成数据进行训练,并在机器人上取得良好效果。
Jun, 2022
本文介绍了一种用于四足机器人的端到端行动系统,结合了深度学习和增强学习技术,通过使用单个摄像头实现台阶、路障、石头和洞口的通过,能够快速在不同的地形上行动和适应各种推挤和摩擦,同时保持稳定。
Nov, 2022
本文提出一种利用神经学中向量符号体系(VSA)的计算范式构建的适用于神经形态计算的视觉里程计(VO)算法。该 VO 网络不仅可以生成并存储所呈现视觉环境的工作内存,同时在估计摄像机的位置和方向变化的同时更新这个工作内存。该文实验验证了该方法在机器人的简单任务和基于事件的数据集上关于 SLAM 任务的高性能表现。
Sep, 2022
使用深度神经网络进行图像生成任务以提取高级特征,进而估计视觉里程碑的深度和位姿,同时利用光流和循环神经网络以及生成对抗网络改进深度和位姿的估计精度。
Sep, 2023
这篇论文提出了一种通过结合几何学和深度视觉表示学习的思想,将其嵌入移动视觉场景理解的递归网络架构中,以学习如何将 2D 视觉特征整合到场景的潜在 3D 特征映射中,通过不同 iable 几何操作进行预测和分割,十分成功。
Dec, 2018
通过训练神经网络来实现全球本地化并应用于实际机器人场景,在二维平面中限制问题并大幅增加训练数据,可以得到紧凑的模型,实现了数厘米的定位精度,并在无人地面车上应用进行路径导航任务。
Nov, 2022
基于视觉观察和自然语言指令,本论文提出了一种基于体素化环境表示的视觉语言导航模型,在多任务学习的影响下,预测 3D 占用、3D 房间布局和 3D 边界框,并通过在线采集的环境表示进行体积状态估计和建立序列记忆,取得了在 VLN 基准测试(R2R,REVERIE 和 R4R)上最先进的性能。
Mar, 2024
我们提出了一种使用基于 Transformer 的模型从配 proprioceptive 信息和高维度深度传感器输入中学习的强化学习(RL)来解决四足动物行走任务的方法。
Jul, 2021
本文介绍了一种基于 ViNL 的视觉导航和运动方案,其中包括一个视觉导航策略和一个视觉运动策略,它们都是完全 “无模型” 的,通过端到端训练的神经网络来实现机器人在未知室内环境中的智能导航和避开障碍物的智能视觉运动。
Oct, 2022
我们提出了一种新颖的导航特定的视觉表示学习方法,通过对比代理的自我中心视图和语义地图(Ego$^2$-Map),将地图中的紧凑且丰富的信息转移到代理的自我中心表示中,从而实现室内导航。我们的实验结果表明,采用我们学习到的表示的代理在目标导航中优于最近的视觉预训练方法,并且我们的表示显著改善了连续环境下的视觉和语言导航,在高级和低级行动空间上均取得了 47%的 SR 和 41%的 SPL 的最新最佳结果。
Jul, 2023