基于卷积神经网络的像素相位估计的泛化及基于 MRF 优化的一次性 3D 扫描相位解缠改进

Sep, 2023

基于卷积神经网络的像素相位估计的泛化及基于 MRF 优化的一次性 3D 扫描相位解缠改进

Generalization of pixel-wise phase estimation by CNN and improvement of phase-unwrapping by MRF optimization for one-shot 3D scan

PDF

Hiroto Harada, Michihiro Mikamo, Ryo Furukawa, Ryushuke Sagawa, Hiroshi Kawasaki

TL;DR采用单幅投影的主动立体视觉技术，也称为一次性三维扫描，已经引起了产业、医学等领域的广泛关注。然而，一次性三维扫描存在稀疏重建的严重缺陷，并且由于空间模式的复杂性，在嵌入效率方面容易受到噪声的影响，从而导致解码不稳定。为了解决这些问题，我们提出了一种适用于任何类型的静态模式的像素级插值技术，只要该模式是规则且周期性的。通过使用经过高效数据增强算法预训练的 U-net，我们实现了这一目标。在本文中，为了进一步解决解码不稳定性问题，我们提出了一种基于马尔科夫随机场（MRF）优化的鲁棒对应点查找算法。我们还提出了一种基于 b 样条和高斯核插值的形状细化算法，使用明确检测到的激光曲线。实验证明了所提方法在强噪声和纹理实际数据上的有效性。

Abstract

Active stereo technique using single pattern projection, a.k.a. one-shot 3D scan, have drawn a wide attention from industry, medical purposes, etc. One severe drawback of one-shot 3d scan is sparse reconstruction

one-shot 3d scan sparse reconstruction pixel-wise interpolation correspondence finding algorithm shape refinement algorithm

发现论文，激发创造

鲁棒立体估计的连续马尔可夫随机场

本文介绍了一种新颖的倾斜平面 MRF 模型，它同时对遮挡边界和深度进行推理。作者将问题定义为混合 MRF 中的推理问题，其中包括连续（即倾斜的 3D 平面）和离散（即遮挡边界）随机变量，从而使他们能够定义潜在函数，编码由分割边界组成的像素的所有权，以及编码哪些交界处是物理上可能的。我们的方法在 Middlebury 高分辨率图像以及更具挑战性的 KITTI 数据集上表现优于现有的倾斜平面 MRF 方法，并且比现有的方法更高效，平均需要 2 分钟来执行高分辨率图像的推理。

Apr, 2012

UHRNet: 基于深度学习的单条纹模式精确三维重建方法

本文提出了一种基于 UHRNet 的单形态法高度提取方法，通过设计复合损失函数并进行多项实验验证，证明该方法能够有效提高从单个光栅图案中进行三维重建的准确性。

Apr, 2023

噪声干扰下干涉成像相位恢复的 3D-2D 神经网络

近年来，神经网络已被用于解决成像中的相位恢复问题，比传统技术具有更高的准确性和速度，特别是在存在噪声的情况下。然而，在干涉成像的背景下，现有的神经网络结构很少解决相位噪声问题。本文介绍了一种 3D-2D 相位恢复 U-Net (PRUNe) 模型，它以噪声和随机相位移的干涉图作为输入，并输出一张 2D 相位图像。经过 3D 降采样卷积编码器和 2D 解码器的处理，模型能更准确、平滑地恢复相位图像，在低光强（<1 个光子 / 像素）和高光强（~100 个光子 / 像素）信噪比的干涉图像上，均表现出比现有算法更低 2.5-4 倍的均方误差。该模型为在极低光强干涉成像中进行相位恢复提供了更快速和更准确的方法，并将在其他多帧噪声成像技术中应用。

Feb, 2024

一个统一的基于点的 3D 分割框架

针对 3D 点云的分割问题，我们提出了一种新的点云分割框架，该框架能有效地优化整个场景的像素级特征，几何结构和全局上下文先验。实验结果表明，该方法优于现有的一些最先进的方法，并探讨了在三维重建场景中合成相机姿态以获得更高的性能。

Aug, 2019

CoReNet：从单个 RGB 图像中重构连贯的 3D 场景

该论文的研究结果表明在深度学习和编码器 - 解码器架构的帮助下，使用光线追踪跳跃连接和混合的 3D 模型表示技术可以从单个图像中重构出 3D 物体模型，并且同样的技术可以从单张图像中重构出多个 3D 物体模型，并处理遮挡问题。

Apr, 2020

RayMVSNet++：基于光线的一维隐式场用于精准多视角立体重建

基于学习的多视角立体摄影 (MVS) 主要集中在 3D 卷积在成本体积上，本文中，我们选择直接优化每个相机光线上的深度值，通过模拟激光扫描仪的测距，从而减轻计算和内存消耗。我们提出了 RayMVSNet，在每个相机光线上学习 1D 隐式场的顺序预测，通过零交叉点指示场景深度。此顺序建模基于 transformer 功能，本质上学习了传统多视图立体摄影中的极线搜索。在 DTU 和 Tanks & Temples 数据集上，我们的方法在所有以前的基于学习的方法中排名前列，在 DTU 上实现了 0.33mm 的整体重建得分，在 Tanks & Temples 上实现了 59.48% 的 F-score。我们的方法能够在具有无纹理表面、严重遮挡和深度变化范围大等挑战性场景中产生高质量的深度估计和点云重构。此外，我们提出了 RayMVSNet++，通过设计一个注重关注的门控单元，在每个光线周围的局部截锥体内选择语义相关的相邻光线，以增强每个光线的语境特征聚合。RayMVSNet++ 在 ScanNet 数据集上实现了最先进的性能，特别是在无纹理区域和大深度变化的两个子集上产生准确的结果。

Jul, 2023

神经马尔可夫随机场用于立体匹配

基于深度学习的神经 MRF 模型在立体匹配任务中取得了显著的性能提升，通过在潜在函数和信息传递方面应用数据驱动的神经网络，该模型有效地解决了传统立体方法中的建模限制和精度问题，并借助变分推断理论保留了立体 MRF 模型的图感知特征。对于高分辨率图像进行可行的推理，并通过适应性地剪枝视差搜索空间的 Disparity Proposal Network (DPN)，使得该方法在 KITTI 2012 和 2015 榜单上名列第一，且运行时间不超过 100 毫秒。与传统的全局方法相比，本方法的性能显著提升，例如在 KITTI 2015 数据集上将 D1 指标降低了 50%，并且具有强大的跨领域泛化能力和恢复锐利边缘的特点。详细代码请参见此链接。

Mar, 2024

基于单光子探测器和毫米波雷达融合时序数据的单像素三维成像

提出了一种基于融合数据的三维成像方法，利用单像素单光子探测器和毫米波雷达从多个角度捕捉场景的时间直方图，通过使用人工神经网络从一维融合时序数据中重建三维信息，成功消除对称模糊并提高了重建图像的质量。

Oct, 2023

PX-NET：光度立体网络简单高效的像素训练

该研究旨在提出一种新型的像素训练规程（PX-NET），它通过在独立像素生成数据上替换全局渲染图像的训练数据来实现对物体几何结构的迅速恢复，在结构和性能上都优于同类像素方法。

Aug, 2020

基于 CNN 的近场光度立体问题方法

该研究提出了一种 CNN 基于光度立体的方法，能够处理如光传播、透射视图几何和镜面光反射等现实假设，通过两个主要步骤迭代估计形状和辐射方向，取得比现有状态 - of-the-art 方法更好的实验效果。

Sep, 2020