使用合成数据学习机器人布料折叠的关键点

May, 2022

使用合成数据学习机器人布料折叠的关键点

Learning Keypoints from Synthetic Data for Robotic Cloth Folding

Thomas Lips, Victor-Louis De Gusseme, Francis wyffels

TL;DR本篇论文提出使用合成数据学习衣物折叠中的关键点检测器，旨在解决传统方法大量标注数据成本高的问题，经实验结果表明，learned keypoint detectors 取得了良好的效果，对未来研究方向起到指导意义。

Abstract

robotic cloth manipulation is challenging due to its deformability, which makes determining its full state infeasible. However, for cloth folding, it suffices to know the position of a few semantic keypoints. Convolutional neural networks (CNN) can be used to detect these keypoints, bu

robotic cloth manipulation convolutional neural networks keypoint detectors synthetic data towel folding

发现论文，激发创造

利用合成数据学习机器人布料操纵的关键点

通过合成数据进行训练，为几乎铺平的服装物品设计关键点检测器，从而推动合成数据在衣物操作中的使用，并为机器人折叠等任务提供支持。

Jan, 2024

使用单臂学习实际服装折叠：基于云计算机器人技术的案例研究

使用远程控制平台测试了自主织物操纵算法在物理机器人上的性能，并研发了一套新的以模仿学习与分析法为基础的算法，在折叠 T 恤任务上达到了人类的 84％表现。

Apr, 2022

合成训练图片以提升人体三维姿势估计

本研究旨在通过人体姿态空间的采样和真实图像纹理的提取，建立一个全自动，可扩展的方法来合成姿态注释的图像，从而为 3D 姿态估计任务提供合成培训数据，最终证明 CNNs 在合成图像上训练可以在 3D 姿态估计任务上胜过在真实照片上训练。

Apr, 2016

学习检测关键点以改善可变形对象的匹配

我们提出了一种新颖的学习关键点检测方法，用于增加非刚性图像对应任务中正确匹配数目。通过利用使用指定描述符提取器匹配注释图像对获得的真实对应关系，我们训练了一个端到端的卷积神经网络（CNN）来寻找更适合所考虑描述符的关键点位置。为此，我们对图像应用几何和光度变换来生成监督信号，从而优化检测器。实验证明，我们的方法在与我们的检测方法结合使用时，可以提高多个描述符的均值匹配精度，并且在非刚性对象的真实图像上优于最先进的关键点检测器 20 个百分点。我们还将我们的方法应用于复杂的现实世界的物体检索任务中，我们的检测器在这个任务上的性能与当前可用的最佳关键点检测器相当。源代码和训练好的模型可以在此 URL 上公开获取。

Sep, 2023

Key.Net: 通过手工设计和学习卷积神经网络滤波器进行关键点检测

介绍了一种新颖的关键点检测方法，该方法结合了手工制作和学习的 CNN 滤波器，使用浅层的多尺度架构，在网络中使用尺度空间表示，在不同的层面提取关键点，并设计了一种损失函数来最大化关键特征的可重复性，使用 ImageNet 数据集创建了合成数据用于训练并在 HPatches 基准测试中进行了评估，结果显示我们的方法在可重复性，匹配性能和复杂性方面优于现有的检测器。

Apr, 2019

室内场景物体检测训练数据的合成

本文探讨了使用合成图像训练最先进的对象检测器，特别是针对对象实例检测。我们在实际环境的图像中将纹理对象模型的 2D 图像叠加在一起，以便在各种位置和比例上进行训练。通过这些实验，我们证明了利用现有的对象模型仓库为新对象训练检测器的新机会。

Feb, 2017

基于卷积神经网络的无监督纺织品缺陷检测

本研究提出了一种基于模式的无监督纺织品异常检测方法，结合了传统卷积神经网络和无监督学习范式的优点。该方法包括预处理、自动模式周期提取、补丁提取、特征选择和异常检测等五个主要步骤。与现有方法相比，我们的方法使用了一种新的动态和启发式的特征选择方法，避免了常用方法中初始化滤波器（神经元）数量和权重以及反向传播机制的缺点。我们的算法在 Patterned Fabrics 基准数据集上展示了可靠和有竞争力的结果，并且具有较低的计算成本和高效的训练时间。

Nov, 2023

基于 RGB-D 的语义分割进行衣服抓取和展开

本文提出了一种新颖的双向分形交叉融合神经网络（BiFCNet）用于语义分割，使得机器人能够识别出可抓取的区域以提供更多抓取可能性，同时还提出了一种基于对抗方法的数据增强方法，最后基于衣服平整度量的分割区域抓取点选择策略。在公共数据集 NYUDv2 上评估这种方法，取得与目前最先进模型相当的表现，并且通过对机械臂的抓取和展开实验进行了验证，获得了 84% 的成功率。

May, 2023

自监督等变学习用于定向关键点检测

本文提出了一种使用旋转卷积神经网络的自监督学习框架，通过生成的图像对和直方图来训练密集方向对准损失，从而学习检测具有鲁棒性的定向关键点，并在图像匹配和相机姿态估计基准测试中表现出优异的性能。

Apr, 2022

UniFolding：面向高效样本利用、可扩展和通用的机器人服装折叠

该研究探讨了 UniFolding 的开发，它是一个高效、可扩展、具有广泛适用性的机器人系统，用于展开和折叠各种衣物。UniFolding 利用提出的 UFONet 神经网络将展开和折叠决策整合到一个单一的策略模型中，该模型适用于不同类型和状态的服装。

Nov, 2023