Sep, 2021

ObjectFolder: 具有隐含的视觉、听觉和触觉表征的物体数据集

PDF
TL;DR该研究创建了一个包括 100 个虚拟对象的数据集，它旨在解决现有数据集太小、不足以代表实际物体等问题。该数据集可用于进行多感官输入识别、物体重建等基准测试，并可用于机器人手部抓取等任务。
multisensory object perceptiondataset creationvirtualized objectssensory datarobotic grasping
发现论文，激发创造
  • ObjectFolder 2.0：多感官物体数据集用于模拟到真实场景的转换

    ObjectFolder 2.0 是一个大规模的多感官数据集，用于增强前人工作中不真实的物体建模。该数据集使用隐式神经表示，并通过包含三种感官数据（视觉、听觉和触觉）对每个物品进行了增强。研究表明，使用该数据集进行训练的模型可以成功地传输到现实世界中。

    Apr, 2022

  • ObjectFolder 基准测试：神经和实体对象的多感官学习

    介绍了 ObjectFolder Benchmark，这是一个围绕着视觉、听觉和触觉的多感知目标中心学习的基准套件，包括对象识别、重建和操作。同时引入了 ObjectFolder Real 数据集，包括 100 个真实物品的多感知测量，重点建立在收集 3D 网格、视频、冲击声音和真实物品的触觉读数的新流水线上。通过对来自 ObjectFolder 的 1000 个多感知神经对象和 ObjectFolder Real 的真实多感知数据进行系统性基准测试，结果显示了多感知感知的重要性，并揭示了在不同的目标中心学习任务中视觉、音频和触觉的各自作用。通过公开发布我们的数据集和基准套件，希望能够催化和支持计算机视觉、机器人学等领域中多感知目标中心学习上的新研究。

    Jun, 2023

  • 通过异步音视频整合发现落下的物体

    通过结合声音和视觉信号与物理学知识，配备了摄像头和麦克风的机器人代理，使用三维虚拟环境研究多模式物体定位。通过生成大规模的数据集和开发一套根据模仿学习，强化学习和模块化计划进行分析，为解决这一挑战迈出了第一步。

    Jul, 2022

  • 基于视角自我中心的玩具盒数据集

    介绍了一个名为 Toybox 的新视频数据集，其中包含家庭常见物品和玩具的自我角度（即第一人称视角）的视频，出现了旋转，平移和缩放的结构转换，并且还提出了神经网络实验以考察不同对象实例和视角分布对识别性能的影响以及在训练网络的隐藏层中如何表示视点相关的对象概念。

    Jun, 2018

  • 手持物品重建的视觉触觉感知

    本研究提出了一种基于 DIGIT 触觉传感器的视触对象重建框架 VTacO，并将其扩展到手 - 物体重建的 VTacOH，并通过 VT-Sim 模拟环境生成了大规模的训练数据集进行评估，展示了其在刚性和不可变形物体重建上具有优异的表现。

    Mar, 2023

  • 基于 LSTM 的触感和动觉信息对象识别的贝叶斯和神经推理

    本研究提出了一种基于多模态对象识别的分析和数据驱动的方法，利用具有高分辨率触觉传感器的三指驱动夹爪进行压缩和释放探索过程（EPs），采集手指关节上的角度传感器获取触觉图像和动觉信息，然后，利用 LSTM 神经网络进行分类，最后通过贝叶斯和神经推理方法融合，对 36 种物体进行测试，结果表明贝叶斯分类器提高了物体识别能力并优于神经网络分类器。

    Jun, 2023

  • 神经场与神经场的感知：手中操作的视觉触觉感知

    通过结合视觉和触觉传感来估计物体的位置和形状，本研究展示了多模态感知在手持操纵中的作用，证明触觉能够在手持操纵过程中改进视觉估计并提供更准确的感知，旨在推动机器人灵巧性的发展。

    Dec, 2023

  • 机器人的视觉触觉物体感知：概述

    本文概述了机器人的视觉 - 触觉对象感知的现状和挑战，并讨论了多模式机器学习的主要挑战和最新进展。

    Mar, 2022

  • 深度感知 - 操作感知基础的物体识别

    通过使用深度学习，结合物体颜色和 affordance 信息，提高了物体识别的鲁棒性。

    Apr, 2017

  • 通过视觉到触觉音频跨模态迁移学习进行潜在物体特征识别

    通过视觉传感器和触觉 - 音频传感器的交叉模态迁移学习框架，提高物体识别准确性和机器人运动稳定性。

    Mar, 2024