CVPRJun, 2023

ObjectFolder 基准测试：神经和实体对象的多感官学习

PDF
TL;DR介绍了 ObjectFolder Benchmark，这是一个围绕着视觉、听觉和触觉的多感知目标中心学习的基准套件，包括对象识别、重建和操作。同时引入了 ObjectFolder Real 数据集，包括 100 个真实物品的多感知测量，重点建立在收集 3D 网格、视频、冲击声音和真实物品的触觉读数的新流水线上。通过对来自 ObjectFolder 的 1000 个多感知神经对象和 ObjectFolder Real 的真实多感知数据进行系统性基准测试，结果显示了多感知感知的重要性，并揭示了在不同的目标中心学习任务中视觉、音频和触觉的各自作用。通过公开发布我们的数据集和基准套件，希望能够催化和支持计算机视觉、机器人学等领域中多感知目标中心学习上的新研究。
发现论文，激发创造
  • ObjectFolder: 具有隐含的视觉、听觉和触觉表征的物体数据集

    该研究创建了一个包括 100 个虚拟对象的数据集，它旨在解决现有数据集太小、不足以代表实际物体等问题。该数据集可用于进行多感官输入识别、物体重建等基准测试，并可用于机器人手部抓取等任务。

    Sep, 2021

  • ObjectFolder 2.0：多感官物体数据集用于模拟到真实场景的转换

    ObjectFolder 2.0 是一个大规模的多感官数据集，用于增强前人工作中不真实的物体建模。该数据集使用隐式神经表示，并通过包含三种感官数据（视觉、听觉和触觉）对每个物品进行了增强。研究表明，使用该数据集进行训练的模型可以成功地传输到现实世界中。

    Apr, 2022

  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • 达标游戏

    该研究提出了一个基于虚拟世界的视觉感知基准测试套件，通过对超过 250,000 个高分辨率视频帧的低层次和高层次的视觉任务进行全面地注释，并针对多个任务分析了最先进方法的表现，提供参考基线和突出未来研究的挑战。

    Sep, 2017

  • 深度感知 - 操作感知基础的物体识别

    通过使用深度学习，结合物体颜色和 affordance 信息，提高了物体识别的鲁棒性。

    Apr, 2017

  • 基于 LSTM 的触感和动觉信息对象识别的贝叶斯和神经推理

    本研究提出了一种基于多模态对象识别的分析和数据驱动的方法，利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程（EPs），采集手指关节上的角度传感器获取触觉图像和动觉信息，然后，利用 LSTM 神经网络进行分类，最后通过贝叶斯和神经推理方法融合，对 36 种物体进行测试，结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。

    Jun, 2023

  • 手持物品重建的视觉触觉感知

    本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

    Mar, 2023

  • 走向视觉功能学习：一个为功能分割和识别设定的基准

    本文介绍了一个大规模多视角 RGBD 视觉可供性学习数据集及其基准测试方法，它包含了来自 37 种对象类别、配有 15 种视觉可供性类别和 35 种杂乱 / 复杂的场景的 47210 个 RGBD 图像。我们提出了一个名为 ARNet 的【可供性识别网络】，证明了该数据集的挑战性以及提出的新的强大的可供性学习算法的明确前景。

    Mar, 2022

  • 基于视频序列的无监督物体表示基准测试

    研究了四种基于物体的表征方法的感知能力，设计了一个基准测试集来评估物体检测、分割和跟踪的基本感知能力，并发现具有非约束潜在表征的架构比基于空间变换器的架构具有更强的物体感知能力。

    Jun, 2020

  • 通过异步音视频整合发现落下的物体

    通过结合声音和视觉信号与物理学知识，配备了摄像头和麦克风的机器人代理，使用三维虚拟环境研究多模式物体定位。通过生成大规模的数据集和开发一套根据模仿学习，强化学习和模块化计划进行分析，为解决这一挑战迈出了第一步。

    Jul, 2022