Jun, 2023

学习概率坐标场以实现稳健的对应

PDF
TL;DR引入概率坐标场（PCFs）和 PCF-Net，作为图像对应问题的新几何和不变坐标表示法和概率网络，通过联合优化坐标场和它们的置信度条件来实现的，可以在各种特征描述符中定量地表达 PCFs 的可靠性，并且可以作为现有对应依赖方法的插件，其可靠的座标表示对匹配的准确性有所帮助，这些得到的结果即可以被用于改善优化匹配的任务或用于引入到纹理转换等多个新应用程序中。
probabilistic coordinate fieldsgeometric-invariant coordinate representationpcf-netcorrespondence problemsconfidence maps
发现论文，激发创造
  • PDC-Net+：加强的概率密集对应网络

    提出了一种增强型概率密集对应网络 (PDC-Net+), 可以同时估计准确的密集对应关系和可靠的置信度分布，通过联合学习流估计和不确定性来预测密集匹配度，并且在自监督训练环境下具有更加稳健和可泛化的不确定性预测策略，对几何匹配和光流数据集取得了最先进的结果，并证明了概率置信度估计在姿态估计、3D 重建、图像定位和图像检索方面的有用性。

    Sep, 2021

  • 神经对应场用于物体姿态估计

    本文提出一种方法，通过单个 RGB 图像估计刚性物体的六自由度姿态，其中通过 3D 模型在摄像机视锥中采样三维查询点预测三维物体坐标，并借助全连接神经网络来实现神经对应场，最终使用 Kabsch-RANSAC 算法实现姿态估计，该方法在三个 BOP 数据集中都取得了最优结果。

    Jul, 2022

  • A2B: 锚定到重心坐标的稳健对应

    本研究研究了解决特征对应问题中的图案重复问题，并提出了一种新的锚点到重心坐标编码方法来生成多个仿射不变的对应坐标，实验表明该方法可以提高匹配质量并在 CVPR 2021 的第三届图像匹配挑战赛中获得竞争性表现。

    Jun, 2023

  • DGC-Net：密集几何对应网络

    本研究针对两幅图像之间密集像素对应估计的挑战进行探讨，提出了一种基于粗到细的 CNN 框架，能够扩展光流方法的优势，解决大范围变换并提供密集和亚像素准确估计的问题，并在相对摄像机姿态估计问题上表现优异。

    Oct, 2018

  • CoFiNet：可靠的粗到细的对应关系用于鲁棒的点云配准

    本文介绍了一种名为 CoFiNet 的粗糙到精细网络技术，该技术无需进行关键点检测，而是通过权重方案从粗糙到精细地提取点云之间的对应关系并进行匹配。在标准测试中，CoFiNet 在室内和室外场景上都比现有方法表现优越，特别是在 3DLoMatch 上，其 Registration Recall 性能提高至少 5％，而参数至多只有现有方法的三分之二。

    Oct, 2021

  • CoFie: 使用坐标场学习紧凑的神经表面表示

    本文介绍了一种新颖的局部几何感知神经表面表示方法 CoFie，该方法通过对局部 SDF 的二次逼近进行理论分析得到。CoFie 将局部形状在由法线和切线方向定义的对齐坐标框架中进行压缩表示，通过优化可变的坐标场将局部形状从世界坐标系转换到对齐形状坐标系，从而显著降低了局部形状的复杂性，提高了基于 MLP 的隐式表示的学习效果。此外，本文还引入了二次层以增强对局部形状几何特征的表达能力。CoFie 是一种通用的表面表示方法，在经过精心筛选的 3D 形状集上进行训练，可在测试时适用于新的形状实例。与先前的方法使用相同数量的参数相比，CoFie 在训练和未见过的形状类别的新实例上将形状误差降低了 48% 和 56%。此外，仅使用 70% 更少的参数，CoFie 表现出与先前方法相媲美的性能。

    Jun, 2024

  • 学习准确的密集对应关系及其可信度

    提出了一种基于概率的方法，通过学习流场预测和不确定性，建立两幅图像间的密集对应关系，同时估计像素级置信度和可靠性，通过受限混合模型等方法建立更好的流预测和异常点建模，通过实验证明该方法在多个具有挑战性的几何匹配和光流估计数据集上具有最先进的效果，并在姿态估计领域证明了它的实用性。

    Jan, 2021

  • CoFiI2P：图像到点云的粗到精对应关系注册

    该研究论文介绍了 CoFiI2P，一种新颖的图像到点云注册网络，通过层次化特征提取和鲁棒特征对应的建立，以获得全局最优解决方案，并在 KITTI 数据集上展示了相对旋转误差（RRE）为 2.25 度和相对平移误差（RTE）为 0.61 米的显著提升。

    Sep, 2023

  • 几何对应场：野外场景下基于可学习可微分渲染的三维姿态细化

    使用不同 iable 渲染技术，利用几何对应场将深度神经网络从 RGB 图像中学到的知识传递到 3D 坐标系中，以优化 3D 姿态估计，并成功地在 Pix3D 数据集上实现了相对于现有方法高达 55％的改进。

    Jul, 2020

  • PCFGaze: 基于物理一致特征的外观驱动注视估计

    通过分析注视特征流形，本文发现注视特征之间的测地距离与样本之间的注视差异一致，基于此发现，我们通过分析的方式构建了与注视的物理定义相关的物理一致特征（PCF），并进一步提出了 PCFGaze 框架，通过 PCF 的指导直接优化注视特征空间。实验结果表明，所提出的框架缓解了过拟合问题，并显著改善了跨领域注视估计的准确性，无需额外的训练数据。注视特征的洞察力有潜力使其他具有物理意义的回归任务受益。

    Sep, 2023