深度物体中心策略用于自动驾驶
本文提出了一种方法来解决复杂开放环境下机器人操作的问题,该方法基于先前训练的通用视觉模型作为感知系统的对象先验,并引入了一个基于对象的注意机制来确定相关对象,通过少数轨迹或演示将这些对象纳入学习策略,使用强化学习可以学习多种操作任务。
Aug, 2017
本研究采用自监督的物体中心视觉模型,只使用 RGB 视频和车辆姿态作为输入,实现了物体分解,并在 Waymo 开放感知数据集上展示了正面的结果。
Jul, 2023
利用大规模的众包视频数据,从中学习通用车辆运动模型,并开发了一种端到端可训练的架构,用于从瞬间单目摄像头观察和先前的车辆状态中学习预测未来车辆自我运动的分布。
Dec, 2016
最近在无监督的物体中心表示学习问题和其在下游任务中的应用方面取得了重大进展。最新研究支持这样一个论点:在基于图像的物体中心强化学习任务中使用解耦的物体表示有助于策略学习。我们提出了一种新颖的物体中心强化学习算法,结合了演员 - 评论家和基于模型的方法,有效地利用这些表示。我们的方法使用转换编码器提取物体表示,并使用图神经网络来近似环境动力学。所提出的方法填补了开发用于离散或连续动作空间环境的高效物体中心世界模型的研究空白。与基于转换器架构的最先进的无模型演员 - 评论家算法和最先进的整合模型为基础的算法相比,我们的算法在视觉复杂的三维机器人环境和具有组合结构的二维环境中表现更好。
Oct, 2023
本文介绍了物体中心表示学习的概念,并在五个常见的多目标数据集上对最先进的无监督模型进行了训练和评估,研究了分割度量和下游对象属性预测等问题,并探讨了单个对象超出分布,全局属性的改变以及更少结构化的分布转变对其性能的影响。实验结果表明,物体中心表示对下游任务很有用,而且对于大多数影响对象的分布转变通常很坚韧。但是,当输入的分布变化不规则时,在分割和下游任务性能方面的韧性可能会因模型和分布转变而异。
Jul, 2021
通过测试多个以对象为中心的模型的关系学习和泛化能力,我们发现这些模型能够在多种情况下区分场景中的不同对象,但在更困难的任务和条件下仍面临挑战,说明抽象视觉推理仍然是深度神经网络,包括以对象为中心的模型面临的一个难题。
Feb, 2024
本文研究利用低成本车载摄像头进行自主驾驶算法,并通过深度神经网络将原始输入图像直接映射到方向盘角度的视觉模型,提出了一种结合空间和时间线索的模型,有助于解释学习到的模型,通过分析人类驾驶数据,比较了此模型与其他自主驾驶车辆状态先进模型的性能差异。
Aug, 2017
该研究提出了一种基于计算机视觉概念,使用深度神经网络从摄像头观测和专业演示数据中训练世界模型和政策的通用框架,该模型可以预测鸟瞰图空间中动态汽车的未来轨迹,并在城市驾驶环境中联合预测静态场景、动态场景和特定行为。
Jun, 2023
本文介绍了两种实现自主驾驶的算法:深度学习和自适应神经符号网络系统。本研究旨在结合深度学习的目标识别和跟踪技术以及自适应神经符号网络代理来改善物体识别性能,并利用雷达传感器实现了对汽车行驶轨迹的准确检测。
Mar, 2022