CVPRMar, 2020

使用学习特征描述符的极度密集的点对应关系

PDF
TL;DR本论文提出了一种有效的自监督训练方案和新的损失设计用于密集描述符学习。在对比 in-house 鼻窦内窥镜数据集和公共密集光流数据集以及小规模公共 SfM 数据集的实验中，我们证明了我们提出的密集描述符具有更好的泛化性能，显著提高了 Structure from Motion (SfM) 模型的密度和完整性。
发现论文，激发创造
  • 使用自我监督学习方法进行单目内窥镜密集深度估计

    提出了一种基于单目内窥镜数据的自监督卷积神经网络训练方法，无需解剖学或阴影的先验建模，仅需要单目内窥镜视频和多视角立体方法，如运动结构，以稀疏方式监督学习。

    Feb, 2019

  • 单目内窥镜中用于密集深度估计的自监督学习

    本文提出一种无监督的自我监督方法，用于训练卷积神经网络从单目内窥镜数据中密集地估计深度，而无需先验建模解剖或着色。

    Jun, 2018

  • D3Feat：3D 局部特征的密集检测与描述的联合学习

    本文提出了一种新型实用的学习机制，利用三维全卷积网络，旨在稠密地预测每个三维点的检测分数和描述特征，并通过自监督的检测器损失，在训练过程中指导即兴的特征匹配结果。最后，我们的方法在 3DMatch 和 KITTI 数据集的室内和室外场景中，均取得了最先进的结果，并在 ETH 数据集上展现了其强大的概括能力，为实现准确快速的点云对其，提出了一种可靠的特征检测器。

    Mar, 2020

  • 单目内窥镜视频中鼻窦解剖结构的稠密三维重建的定量评估

    通过定量分析，我们使用自监督方法对内窥镜定位进行了定量分析，采用与高分辨率计算机断层扫描相结合的内窥镜序列和光学跟踪获取的 9 个离体标本的结果显示，所生成的重建与解剖结构高度一致，重建与 CT 分割间的平均点对网格误差为 0.91 毫米，然而，在点对点匹配场景中，即对内窥镜跟踪和导航至关重要的情况下，我们发现平均目标注册误差为 6.58 毫米。我们发现姿态与深度估计的不准确性对此误差贡献相等，并且具有更短轨迹的局部一致性序列生成更准确的重建。因此，为了改进重建并促进临床应用，实现相对相机姿态和估计深度与解剖学的全局一致性至关重要。

    Oct, 2023

  • 使用带引导的稀疏特征体积融合从单目视频中增量稠密重建

    本文提出了基于特征体积的实时密集重建方法，采用稀疏的深度特征体积来预测 TSDF 值，通过多视角图像聚合细节信息进行时序融合，实现了比以往更高分辨率和更完整细节的三维几何图形重建，其在室内和室外场景中都比现有的方法具有更好的实时重建性能。

    May, 2023

  • 学习时空描述符的并行稠密对应关系，实现高效、鲁棒的 4D 重建

    本篇论文介绍了一种基于深度学习和连续变换函数的方法进行 4D 形状重建，使用一个鲁棒的时空形状表征方法来视觉化地表达这些形状并通过动力学模型对其进行建模，实现了四维人体重建。

    Mar, 2021

  • 场景间密集对应的无监督特征学习

    通过无监督学习从大量未标记图像路径中学习特征，对像素进行编码，并进行空间池化以获得补丁层特征，然后将学习到的特征顺畅地嵌入到多层匹配框架中，得到了与最先进的方法相比在准确性和计算效率方面均优于 SIFT flow 等的匹配模型，并分析了字典学习和特征编码对最终匹配性能的影响。

    Jan, 2015

  • MvDeCor：用于精细三维分割的多视角稠密对应学习

    本研究提出了一种利用自我监督技术在二维领域进行细粒度三维形状分割任务的方法，并实现对 3D 形状的多视角表征，透过对比学习框架中密集对应关系的学习任务，实现对 2D 表征的无视角和几何一致性特性的学习，经实验表明，该方法在纹理和无纹理的三维数据集上的表现优于现有的最先进方法，尤其在训练仅局限于少量标记数据或形状纹理较丰富时的表现更加优异，证明了二维处理和三维几何推断对该方法整体的提升效果。

    Aug, 2022

  • 内窥镜图像匹配的图形自监督学习

    本研究提出一种新颖的自监督方法，将卷积神经网络和基于注意力机制的图神经网络相结合，用于处理内窥镜图像中的特征匹配和对应关系问题，并在精度方面具有出色的表现。

    Jun, 2023

  • 学习产生半密集对应关系进行视觉定位

    在夜间场景、恶劣天气和季节变化等苛刻条件下进行视觉定位是一项具有挑战性的任务。本研究提出了一种新颖的定位方法，通过提取可靠的半稠密的 2D-3D 匹配点来改进相机位姿估计的准确性，即使在噪声场景中也能取得显著的成果。

    Feb, 2024