Feb, 2022

IFOR: 机器人物体重新排列的迭代流量最小化

PDF
TL;DRIFOR is an end-to-end method for accurately rearranging unknown objects in unstructured environments by applying an optical flow model based on RAFT and iterative minimization algorithm, which works well in cluttered scenes and real-world situations while being trained only on synthetic data.
发现论文，激发创造
  • FvOR: 面向少视角物体重建的鲁棒联合形状与姿态优化

    本文基于学习的方法提出一种多视角 3D 物体重建算法 FvOR，该算法利用神经网络模块快速、准确地估计 3D 几何和相机位姿。我们在 ShapeNet 上进行了大量测试，结果表明该方法不仅取得了最佳的重建效果，而且比目前最新的 IDR 算法快两个数量级。

    May, 2022

  • DISORF：一个分布式在线 NeRF 训练和渲染框架，用于移动机器人

    我们提出了一种名为 DISORF 的框架，用于实现资源有限的移动机器人和边缘设备捕捉场景的在线三维重建和可视化。该框架能够解决边缘设备计算能力有限和网络可用性不足的问题，并利用设备上的 SLAM 系统生成位姿关键帧，通过远程服务器在运行时利用 NeRF 模型实现高质量的三维重建和可视化。我们还提出了一种新的移动 NeRF 训练方法来解决在线 NeRF 训练中图像采样导致的渲染质量下降的挑战。我们演示了该框架在移动机器人和边缘设备的相机捕捉和流媒体传输的过程中实现高质量的实时重建和可视化的有效性。

    Mar, 2024

  • RIO: 在室内变化环境中重新定位三维物体实例

    本研究介绍了三维物体实例重新定位任务，提出了使用新的数据驱动方法 —— 完全卷积三维对应网络和位姿优化来完成该任务，并使用新建立的 3RScan 数据集和基准测试来评估其性能，实现了 30.58% 的准确率。

    Aug, 2019

  • 基于光流的无约束场景实时移动物体检测

    该研究论文提出了一种基于光流的移动物体检测框架，利用单应性矩阵在线构建光流背景模型，并设计了一个双模式判断机制来提高系统对复杂场景的自适 应性，实验证明该方法优于现有的方法，具有适应不同场景的优势。

    Jul, 2018

  • 大部分为刚体场景下的光流

    文章提出了一种综合了静态和非约束场景下光流方法的算法，可以同时估计运动物体的分割和相机运动的 3D 结构，具有更高的精度。

    May, 2017

  • MoreFusion: 基于体素融合的多目标推理技术在 6D 位姿估计中的应用

    提出了一种基于多视角视野的实时视觉系统，可以从单个 RGB-D 视角提出三维物体姿态建议，并且根据多个视角的姿态估计和非参数占用信息积累这些姿态估计，从而对接触的多个已知对象进行一致的、不相交的姿态估计。应用于实时机器人应用程序中，只使用机载 RGB-D 视觉，机械臂可以精确而有序地拆卸复杂的物体堆放，展示了其准确性和鲁棒性。

    Apr, 2020

  • 基于光流的动态稠密 RGB-D SLAM 系统 FlowFusion

    研究使用光流残差技术实现动态语义感知的 RGB-D 环境下的 SLAM，同时实现动静分割、相机运动估计和静态背景重建。实验证明该方法在动态和静态环境中都比现有的方法具有更高的精度和效率。

    Mar, 2020

  • 透明桌面场景重建：通过单眼深度补全优化的极线引导光流

    使用廉价的 RGB-D 相机对透明物体进行重建是机器人感知中的持久挑战，由于 RGB 领域中视图不一致以及单视图中不准确的深度读数。我们提出了一个专为移动平台量身定制的透明物体重建两阶段流程：在第一阶段，利用现成的单目物体分割和深度补全网络来预测透明物体的深度，提供单视图形状先验信息；随后，我们提出了基于极线引导的光流（Epipolar-guided Optical Flow），将第一阶段的多个单视图形状先验信息融合到一个在摄像机姿态中估计的跨视图一致的 3D 重建中。我们的创新在于 Epipolar-guided Optical Flow，它在光流中引入了边界敏感采样和极线约束，以在透明物体上准确建立 2D 对应关系。定量评估表明，我们的流程在 3D 重建质量上明显优于基准方法，为更熟练地感知和与透明物体交互铺平了道路。

    Oct, 2023

  • 基于密集 RGB-D 场景流的基于运动的物体分割

    本研究提出了一种基于深度学习的模型，用于估计连续 RGB-D 图像之间的场景流，可以将场景分成多个刚体运动的对象，利用编码和解码阶段，得到了像素级目标中心、运动和旋转估计，并在大规模合成和真实数据集上测试了模型性能。

    Apr, 2018

  • ReorientBot: 物体定向学习，用于特定姿态的放置

    本文介绍了一个基于视觉的机器人操作系统，能够通过姿态估计和体积重建实现物体重新定位，并通过学习的路径选择和传统的运动规划生成无碰撞路径，从而成功和高效地完成对物体的操作和重构，实现了机器人操作的自主化，成功率提高了 81％，执行时间提高了 22％。

    Feb, 2022