GIRA:高斯混合模型用于推理和机器人自主性
通过低成本传感器提供视觉估计的冗余,以实现自主机器人的准确测量机器人的潜在状态和感知环境,包括其中的其他代理,从而使规划和执行传感器故障或外部干扰时的恢复协议成为可能。我们提出了 GISR 方法,它是一种用于深度配置和机器人到相机姿态估计的方法,其优先考虑实时执行。GISR 由两个模块组成:(i) 几何初始化模块,高效计算近似机器人姿势和配置,以及 (ii) 基于轮廓的迭代细化模块,仅通过少数迭代步骤对初始解进行改进。我们在公开可用的数据集上评估了我们的方法,并展示了 GISR 与现有先进方法相比具有竞争力的表现,并且比同类现有方法具有显著更快的速度。我们的代码可在此 URL 获得。
May, 2024
本文介绍了一种基于真实驾驶数据的生成模型 GINA-3D,其使用相机和 LiDAR 传感器捕获数据,通过学习三平面潜在结构的方法处理姿态与视差,从而创建具有多样性的车辆和行人 3D 模型,并在大规模的样本测试中表现出高质量和多样性。
Apr, 2023
本文提出了一种通用的图神经网络(GNN),旨在通过协同感知能力,提高多机器人视觉感知任务的单个机器人推断感知准确性,并提高其对传感器故障和扰动的恢复能力。该方法已在多种实验场景中进行了验证。
Jan, 2022
MVGamba 是一个通用而轻量级的高斯重建模型,通过基于 RNN 类似的状态空间模型 (SSM) 的多视角高斯重建器,来解决现有高斯重建模型中存在的多视角不一致和模糊纹理问题,并与多视图扩散模型集成,统一了从单一图像、稀疏图像或文本提示的 3D 生成任务,实验证明 MVGamba 在所有 3D 内容生成场景中优于现有基准模型,并且仅需要约 0.1 倍的模型大小。
Jun, 2024
GeRM 是一种多任务机器人学习方法,利用离线强化学习优化数据利用策略来从示范和次优数据中学习,通过引入专家混合结构解决有限的强化学习参数问题,并提供更快的推理速度和更高的模型容量,同时控制计算成本,在多任务学习中提高模型性能。通过一系列实验验证 GeRM 在所有任务上的优越性,并展示其在训练和推理过程中的效率,同时揭示其获取新技能的潜力。此外,我们还贡献了 QUARD-Auto 数据集,该数据集由自动收集,以支持我们的训练方法并推动多任务四足机器人学习的进展。这项工作为减少机器人数据收集成本和推动多任务学习社区的进步提供了一种新的范例。
Mar, 2024
本文提出了一种基于高斯混合回归的新型多输出高斯过程(MOGP)方法,利用 MOGP 的协方差将从演示中检索的变异性捕获起来,使机器人能够精确跟踪经过点,同时在高变异地区保持的柔顺性。
Oct, 2019
提出了一种基于高斯过程(GP)的模型,用于主动检测未来运动规划失败的风险,并在风险超过阈值时触发恢复行为来从事实现目标的安全状态。该方法仅在仿真环境中进行训练,并可以泛化到不同机器人平台的实际环境中。仿真和物理实验证明了该框架既能预测规划器的失败,又能将机器人恢复到可能成功规划的状态,并以敏捷的运动方式进行操作。
Feb, 2024
我们通过将模仿和强化学习范式相结合,开发了一种学习和适应技能的混合模型,通过学习动态系统的关键点,利用机器人在技能学习过程中的视觉观察,预测场景内的参考点,从而实现机器人在新环境中的零样本泛化能力和在目标环境中更快地优化技能的目标,同时能有效处理场景变化。
Oct, 2023
引入了 DeepGMR 算法,该算法是首个显式利用概率注册范例的基于学习的点云配准方法,利用混合高斯模型模拟两点云之间的概率分布,通过神经网络和两个可微计算块进行配准,从而实现产生全局注册方法的目的。该方法在合成和真实数据上均表现出比几何和基于学习的配准方法更好的性能。
Aug, 2020
这篇论文介绍了一种新型的 3D 动态场景图,称为 DSG,以捕捉动态环境的度量和语义方面,同时提供了一种全自动构建 DSG 的方法 Kimera,并且在实时的语境下,实现了基于 DSG 的层次化语义路径规划。
Jan, 2021