Aug, 2018

单眼视觉、触觉和形状先验的三维形状感知

PDF
TL;DR通过融合视觉和触觉观测以及来自大规模形状数据库的先验知识，我们提出了一种高效的模式，从单视角彩色图像和少量触索中构建常见物体的三维形状，以帮助机器人更好地执行实际操作。
3d object shapevisual observationstactile sensingshape repositoriesrobotics
发现论文，激发创造
  • 视觉和触觉的三维形状重建

    本文研究 3D 形状重建中视觉和触觉信息的多模式融合问题，并提出了一种基于图表的方法，该方法有助于提高重建质量，并且通过一个机器人手与 3D 物体的交互生成了一个仿真数据集。结果表明，利用视觉与触觉信号可以显著改善基准单一模态的重建表现，本方法优于替代模态融合方法并受益于所提出的基于图表的结构。

    Jul, 2020

  • 三维形状感知结合直觉物理与分析综合

    提出了一个 3D 形状感知的框架，它在分析综合或图像形成的生成模型中解释了典型和非典型情况下的感知，分析和计算研究表明这种方法最符合人类观察者的准确性和响应时间，在困难判别方面与人类表现相关性显著，并提示深度神经网络等机器视觉系统如何实现更具有人类特色的稳健性。

    Jan, 2023

  • 机器人的视觉触觉物体感知：概述

    本文概述了机器人的视觉 - 触觉对象感知的现状和挑战，并讨论了多模式机器学习的主要挑战和最新进展。

    Mar, 2022

  • 多目标动态三维形状重建、6 自由度位姿估计和密集抓取预测实时同时完成

    本文介绍了一种新的方法，通过感知系统提供场景中所有物体的几何和语义信息，同时提供这些物体的可行抓取，以加速机器人操作的复杂度。通过详细的定量分析，我们展示了我们的方法通过在 30 帧 / 秒速度下提供竞争性能，以比较专门用于物体形状、姿态和抓取预测的最新技术方法。

    May, 2023

  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • 具有神经对象形状完善功能的拟人抓握

    通过从部分观测中重建和完成其全面几何结构，并利用七自由度的拟人化机器人手进行操作，我们的方法显著提高了只有部分重建的基线的抓取成功率近 30％，并以三个不同的对象类别多次实现了超过 150 次成功抓取，这表明我们的方法在真实世界的不同方向和位置基于完成的对象形状进行预测和执行抓取姿势的一贯能力，为增强需要实际重建对象的精确抓取和操作技能的机器人应用开辟了新的可能性。

    Nov, 2023

  • 三维物体语言基础

    本文介绍了一个新的推理任务，旨在针对三维对象的视觉和非视觉语言，并介绍了用于区分对象的几种 CLIP 模型。虽然最近在联合建模视觉和语言方面取得了进展，但这些基于图像的模型仍然对对象的三维性质了解不足，此文发现，将视图估计添加到语言引理模型可以提高准确性。

    Jul, 2021

  • AutoShape：实时形状感知单目三维物体检测

    该研究提出了一种基于深度神经网络和形态感知的三维目标检测方法，利用二维关键点和对应的三维坐标以及二维 / 三维的几何约束提高检测性能，并在公共数据集 KITTI 上实现了最新的性能。

    Aug, 2021

  • 学习三维物体的形状和布局，无需三维监督

    本研究提出了一种基于多视图图像的方法，用于识别三维场景的对象形状和布局，通过在大型数据集上的实验，证明该方法可扩展应用于现实图像，并与依赖三维信息的方法相比，表现得更好。

    Jun, 2022

  • 多模态几何学习用于抓取和操作

    本文提出使用 3D 卷积神经网络结构，融合深度学习和触觉信息来生成可用于机器人操作的丰富准确的三维模型，并通过实验证明，在几何推理方面具有优越性。

    Mar, 2018