May, 2023

基于 RGB-D 的语义分割进行衣服抓取和展开

PDF
TL;DR本文提出了一种新颖的双向分形交叉融合神经网络（BiFCNet）用于语义分割，使得机器人能够识别出可抓取的区域以提供更多抓取可能性，同时还提出了一种基于对抗方法的数据增强方法，最后基于衣服平整度量的分割区域抓取点选择策略。在公共数据集 NYUDv2 上评估这种方法，取得与目前最先进模型相当的表现，并且通过对机械臂的抓取和展开实验进行了验证，获得了 84% 的成功率。
发现论文，激发创造
  • RGB Matters: 在单目 RGBD 图像上学习 7 自由度抓取姿态

    本文提出了 RGBD-Grasp 方法，通过卷积神经网络 Angle-View Net（AVN）预测抓手的 SO（3）方向和 FAS 模块计算抓手的张开宽度和与抓点的距离，解决机器人领域中的物体抓取问题，并在 GraspNet-1Billion 数据集上取得了最先进的结果。

    Mar, 2021

  • 基于 RGB 图像的机器人抓取检测的模块化抗噪声深度学习网络

    通过使用单个 RGB 图像进行模块化学习网络来检测抓取姿势，本研究提出了一种有趣的方法，适用于配备平板夹具的机器人，不仅识别可抓取的物体，还将先前的抓取分析与语义分割融合，从而提高抓取检测精度，并且在处理模糊和嘈杂的视觉情况时表现出弹性，通过实际实验和评估证明了我们提出的方法的可行性和准确性。

    Oct, 2023

  • UniFolding：面向高效样本利用、可扩展和通用的机器人服装折叠

    该研究探讨了 UniFolding 的开发，它是一个高效、可扩展、具有广泛适用性的机器人系统，用于展开和折叠各种衣物。UniFolding 利用提出的 UFONet 神经网络将展开和折叠决策整合到一个单一的策略模型中，该模型适用于不同类型和状态的服装。

    Nov, 2023

  • 基于 RGB 图像的三维虚拟服装建模

    本文提出了一种新颖的方法，可以从照片中构建 3D 虚拟服装模型，通过利用多任务学习网络 JFNet 以及语义部件来提取颜色纹理信息，进行虚拟现实和混合现实的应用。

    Jul, 2019

  • 审视装扮以解析服装

    基于全卷积神经网络，在衣服解析问题中引入了服装套装编码器和条件随机场，能够有效处理衣服语义和上下文信息。在 Fashionista 和 CFPD 数据集中取得了最佳的解析效果，并利用基于 Web 的多尺度像素级注释工具对当前解析基准测试的影响进行了定量研究，同时证明了服装套装编码器的图像表示在着装图像检索应用中具有实用价值。

    Mar, 2017

  • 语义场景完成的三维门控循环融合

    本文针对语义场景完成（SSC）任务中的数据融合问题进行了研究，我们提出了一种 3D 门控递归融合网络（GRFNet），其可以自适应地选择和融合来自深度和 RGB 图像的相关信息，并借助门控和记忆模块。基于单阶段融合，我们进一步提出了一种多阶段融合策略，并在两个基准数据集上进行了广泛的实验，证明了所提出的 GRFNet 在 SSC 中的数据融合方面具有卓越的性能和有效性。

    Feb, 2020

  • 基于深度信息的实时 RGB-D 语义分割融合网络，并结合道路图像中预警障碍物检测

    本文提出了一种名为 RFNet 的实时融合语义分割网络，该网络可在自动驾驶汽车应用中快速运行，利用多个数据集进行训练，实现对意外小障碍的识别和面对现实世界中未预见到的危险，达到了显著的分割精度和 22Hz 推理速度。

    Feb, 2020

  • UniGarmentManip：一种基于密集视觉对应的类别级服装操作统一框架

    通过自我监督学习，在特定类别中学习衣物的拓扑密集（点级）视觉对应，以指导各种下游任务的操作策略，而只需进行一次或少量示范。

    May, 2024

  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • 深度学习用于机器人抓取检测

    运用深度学习方法解决机器人抓取问题，通过多模态组规则化结构化正则化权重来处理多模态输入，实现了比之前最先进方法更好的效果，可成功在两个不同的机器人平台上执行抓取。

    Jan, 2013