ECCVMar, 2018

PlaneMatch：用于强健的 RGB-D 重建的平面共线性预测

PDF
TL;DR介绍了一种用于检测 SLAM 重建中共面表面的新型 RGB-D 补丁描述符，该方法的核心是一个深度卷积神经网络，它接受图像中平面贴片的 RGB、深度和法线信息，并输出可用于从其他图像中找到共平面贴片的描述符。我们在 1000 万个共面和非共面补丁的三元组上训练网络，并在从商品 RGB-D 扫描创建的新共面基准上进行评估。实验表明，我们学习的描述符在这项新任务中比已有的替代方案表现更好。此外，我们证明了共面匹配在稳健的 RGBD 重建公式中的优点。我们发现，使用我们的方法检测到的共面约束足以在大多数场景中获得可与现有的最先进框架相媲美的重建结果，但与简单的关键点方法相结合时，在标准基准测试上超过了其他方法。
rgb-dpatch descriptorcoplanar surfacesslam reconstructionconvolutional neural net
发现论文，激发创造
  • 3DMatch: 从 RGB-D 重建学习局部几何描述符

    本文提出了一种名为 3DMatch 的数据驱动模型，它可以学习用于建立局部 3D 数据对应关系的局部体积块描述符，且利用自我监督特征学习方法来汇集训练数据。实验证明，该描述符不仅可以用于重构新场景的局部几何形状的匹配，而且可以推广到不同的任务和空间尺度。

    Mar, 2016

  • PlaneNet：从单个 RGB 图像中分段平面重建

    本研究提出了一种使用深度神经网络 (DNN) 从单个 RGB 图像重建分段平面深度图的方法，该方法可以直接从单个 RGB 图像学习一组平面参数和相应的分割掩码，并且在评估中表现出比基准方法更好的平面分割和深度估计精度。该方法是第一个可以从单个 RGB 图像进行分段平面重建的端到端神经网络结构。

    Apr, 2018

  • 基于本地 RGB-D Patch 的深度学习用于三维物体检测和六自由度位姿估计

    采用卷积自编码器在大量随机局部补丁上训练回归描述符，将场景补丁描述符与合成模型视图补丁的数据库进行匹配，并投票生成 6D 对象，结果在三个数据集上表现良好，具有标准检测结果并超过其竞争对手的鲁棒性。

    Jul, 2016

  • 从单张图像进行 3D 平面检测和重建的 PlaneRCNN

    本论文提出一种称为 PlaneRCNN 的深度神经结构，可以从单个 RGB 图像检测和重构分段平面曲面，并且在基准测试中表现明显优于现有最先进的方法，具有重要的机器人学、增强现实和虚拟现实应用价值。

    Dec, 2018

  • 用于补丁匹配和重建的改进描述符

    提出了一种基于卷积神经网络 (ConvNet) 的方法，用于学习本地图像描述符，可用于显着改善补丁匹配和三维重建，该方法使用多分辨率 ConvNets 学习关键点描述符，并且提出了一个新的数据集，包含比当前可用的 Multi-View Stereo（MVS）数据集更多的图像和正负对应物，并且在视角，尺度和光照变化方面具有更好的覆盖范围。该文对基于提出的描述符学习的补丁匹配和三维重建任务进行了评估，实验结果表明，在评价任务中，提出的描述符优于当前现有的最先进描述符。

    Jan, 2017

  • 基于平面先验辅助的 PatchMatch 多视角立体匹配

    本文提出了一种基于平面先验辅助 PatchMatch 多视角立体视觉框架的方法，用于三维模型的恢复。实验证明，该方法可以高效地恢复极低纹理区域的深度信息，从而获得高度完整的三维模型并实现目前最佳性能。

    Dec, 2019

  • 训练卷积神经网络比较图像片段进行立体匹配

    本研究基于卷积神经网络为计算视差匹配的成本聚合，并针对 KITTI2012、KITTI2015 和 Middlebury 立体数据集对该方法进行了验证，结果表明其在所有三个数据集上优于其他方法。

    Oct, 2015

  • 针对室内 RGB-D 重建的几何和纹理的高效基于平面的优化

    我们提出了一种基于平面基元的 RGB-D 室内场景重建新方法，通过适应平面构建整个场景的低多边形网格，保留原始场景的几何细节和锐利特征并生成清晰的面纹理，相较于现有方法更有效的从 RGB-D 数据生成纹理网格。

    May, 2019

  • 通过灵活的分层细化和补丁描述符精炼的广义匹配

    本文的主要关注点是解决深度特征匹配（DFM）的局限性，通过采用更灵活的最近邻搜索策略并集成图像补丁描述符，扩展了 DFM 的适用范围，同时提出了一种新颖的图像补丁描述符精炼策略，进一步降低了对应匹配的计算复杂度，实验证明我们的方法在实际机器人应用中具有卓越的性能。

    Mar, 2024

  • 通用对应网络

    本文提出了一种深度学习框架，用于准确的视觉对应，并证明了其在几何和语义匹配中的有效性，提出了一种卷积空间变换器来模仿传统特征（如 SIFT）中的补丁归一化，广泛的 KITTI，PASCAL 和 CUB-2011 数据集的实验表明，与使用手工构建或学习特征的先前作品相比，我们的特征具有显着优势。

    Jun, 2016