差分模型:基于体积的立体匹配的扩散模型
本文提出了一种新的深度学习立体匹配方法,通过在代价体上增加限制和建立局部基于峰值的单峰分布函数,显式地建模不同环境下的匹配不确定性,从而提高了匹配效果。
Sep, 2019
本文提出了一种利用 Volumetric Probability Distribution 及 Markov chain 的深度估计任务多步分布逼近过程的方法,并在 MVS 和 SSC 方面取得了最新的研究成果。
Jun, 2023
提出了一种使用稀疏相机实现高质量 3D 人体重建的新系统 DiffuStereo,其核心是使用扩散模型将扩散模型引入到迭代立体匹配网络中,以实现立体匹配和深度估计。通过多级扩散模型立体网络结构处理高分辨率输入,该方法可以自动重建具有与高端重度视角摄像机组相当质量的人体模型。实验表明,该方法在定性和定量上均优于现有方法。
Jul, 2022
本文展示了使用去噪扩散概率模型进行单目 depth 和 optical flow 估计,通过 Monte Carlo 推理,结合了自监督预训练和合成和真实数据的监督训练,能够在去噪和缺陷数据方面提供技术创新,以及对于不确定性和多模态的处理能力等方面都能取得最先进的效果。DDVM 是本文中提出的模型,相对深度误差为 0.074,比最佳发布方法的 Fl-all outlier rate 高 25%。
Jun, 2023
本文提出了一种既节省时间又节省内存的立体成像方法,该方法在几何和语境的渐进细化尺度中构建标准的特征金字塔下的代价体,随着不断增加的代价体分辨率以及深度(或差异)间隙的自适应调整,以较粗糙的方式从粗到细恢复输出。
Dec, 2019
建立可靠的对应关系对于 3D 和 2D3D 对准等任务至关重要。为了解决大变形、尺度不一致和模糊匹配问题所带来的挑战,本文引入了一种用于建立鲁棒对应关系的扩散匹配模型,在双随机矩阵空间内将对应估计视为去噪扩散过程,逐步去噪(细化)双随机匹配矩阵至准确的匹配矩阵,以进行高质量的对应估计。该方法在 3D 和 2D3D 对准任务上的评估验证了其有效性。
Mar, 2024
提出了 DiffMatch 框架,使用基于扩散的条件去噪模型显式地建模了两个术语:数据项和先验项,以解决匹配模糊性问题,实验证明其优于现有技术。
May, 2023
为满足多种 XR 设备的需求,我们介绍了一种名为 StereoDiffusion 的方法,该方法与传统的修复流程不同,无需训练即可轻松使用,并与原始的 Stable Diffusion 模型完美集成。我们的方法通过修改潜变量,能够快速生成立体图像对,无需微调模型权重或对图像进行后处理。使用原始输入生成左图像并为其估计视差图,我们通过 Stereo Pixel Shift 操作生成右图像的潜向量,同时辅以 Symmetric Pixel Shift Masking Denoise 和 Self-Attention Layers Modification 方法,将右图像与左图像对齐。此外,我们提出的方法在整个立体生成过程中保持了高水平的图像质量,在各种定量评估中取得了最先进的成绩。
Mar, 2024
该论文提出了一种基于级联和融合代价体的深度学习模型 CFNet,以解决大规模标注数据集的深度立体匹配模型的泛化能力问题,通过融合多个低分辨率的密集代价体以及逐步缩小视差搜索空间的方式,建立起一套定量的不确定性估计体系,实现了对跨数据集间的泛化匹配能力的优化。
Apr, 2021
本文提出了使用卷积神经网络 (CNN) 从三维数据中直接学习置信度估计特征的新方法,将深度学习和代价体特征相结合,通过对三个数据集上的三种常见密集立体匹配技术进行广泛评估,证明了该方法的广泛性和最先进的准确性。
May, 2019