Apr, 2012

鲁棒立体估计的连续马尔可夫随机场

PDF
TL;DR本文介绍了一种新颖的倾斜平面 MRF 模型，它同时对遮挡边界和深度进行推理。作者将问题定义为混合 MRF 中的推理问题，其中包括连续（即倾斜的 3D 平面）和离散（即遮挡边界）随机变量，从而使他们能够定义潜在函数，编码由分割边界组成的像素的所有权，以及编码哪些交界处是物理上可能的。我们的方法在 Middlebury 高分辨率图像以及更具挑战性的 KITTI 数据集上表现优于现有的倾斜平面 MRF 方法，并且比现有的方法更高效，平均需要 2 分钟来执行高分辨率图像的推理。
slanted-plane mrf modelocclusion boundariesdepthhybrid mrfinference
发现论文，激发创造
  • 神经马尔可夫随机场用于立体匹配

    基于深度学习的神经 MRF 模型在立体匹配任务中取得了显著的性能提升，通过在潜在函数和信息传递方面应用数据驱动的神经网络，该模型有效地解决了传统立体方法中的建模限制和精度问题，并借助变分推断理论保留了立体 MRF 模型的图感知特征。对于高分辨率图像进行可行的推理，并通过适应性地剪枝视差搜索空间的 Disparity Proposal Network (DPN)，使得该方法在 KITTI 2012 和 2015 榜单上名列第一，且运行时间不超过 100 毫秒。与传统的全局方法相比，本方法的性能显著提升，例如在 KITTI 2015 数据集上将 D1 指标降低了 50%，并且具有强大的跨领域泛化能力和恢复锐利边缘的特点。详细代码请参见此链接。

    Mar, 2024

  • Oblique-MERF: 对倾斜摄影进行重访和改进的 MERF

    本文提出了一种名为 Oblique-MERF 的方法，在处理倾斜航拍照片重建 3D 场景时，通过引入一个创新的自适应占用平面和一个平滑正则化项来解决独特的数据特征，从而超越当前最先进的实时方法，降低 VRAM 使用量约 40％并在大多数视点上实现更高的渲染帧率和更逼真的渲染效果。

    Apr, 2024

  • 基于 CNN 的高阶时空 MRF 推理的视频目标分割

    该论文介绍了一种解决视频对象分割问题的新型空间 - 时间马尔可夫随机场（MRF）模型，该模型通过卷积神经网络（CNN）编码像素之间的空间依赖关系，并利用光流建立时间依赖关系来结合空间和时间线索，提出了一种嵌入 CNN 的算法，以实现近似的 MRF 推理。

    Mar, 2018

  • 基于结构注意力的卷积神经场用于单目深度估计

    本文提出一种新的单目深度估计方法，使用带有结构化注意力模型的条件随机场来融合来自前端卷积神经网络不同层次的多尺度信息，并将其无缝集成到整个架构的端到端训练中， 在 KITTI 基准测试中排名竞争对手，在 NYU Depth V2 数据集上优于现有技术。

    Mar, 2018

  • 使用深度密集连接 MRF 的自动驾驶实例级分割

    本文研究面向自动驾驶场景的单目图像像素级实例标注问题，使用卷积神经网络和密集连接马尔可夫随机场模型结合的方式，提出了一种全局实例标注方法，并在 KITTI 基准数据集上取得了显著的性能提升。

    Dec, 2015

  • 深度结构化模型学习

    此研究旨在将马尔可夫随机场与深度学习相结合，提出了一个训练算法，可以学习结构化模型和深度特征，以提高多个随机变量的预测性能。该算法在预测词汇和图像多分类上均具有重要的性能提高。

    Jul, 2014

  • RayMVSNet++：基于光线的一维隐式场用于精准多视角立体重建

    基于学习的多视角立体摄影 (MVS) 主要集中在 3D 卷积在成本体积上，本文中，我们选择直接优化每个相机光线上的深度值，通过模拟激光扫描仪的测距，从而减轻计算和内存消耗。我们提出了 RayMVSNet，在每个相机光线上学习 1D 隐式场的顺序预测，通过零交叉点指示场景深度。此顺序建模基于 transformer 功能，本质上学习了传统多视图立体摄影中的极线搜索。在 DTU 和 Tanks & Temples 数据集上，我们的方法在所有以前的基于学习的方法中排名前列，在 DTU 上实现了 0.33mm 的整体重建得分，在 Tanks & Temples 上实现了 59.48% 的 F-score。我们的方法能够在具有无纹理表面、严重遮挡和深度变化范围大等挑战性场景中产生高质量的深度估计和点云重构。此外，我们提出了 RayMVSNet++，通过设计一个注重关注的门控单元，在每个光线周围的局部截锥体内选择语义相关的相邻光线，以增强每个光线的语境特征聚合。RayMVSNet++ 在 ScanNet 数据集上实现了最先进的性能，特别是在无纹理区域和大深度变化的两个子集上产生准确的结果。

    Jul, 2023

  • 使用多尺度连续 CRFs 作为顺序深度网络进行单目深度估计

    本文提出了一种基于多尺度卷积神经网络、条件随机场及其连续形式的深度学习模型，用于单张静态图片的单目深度估计，该模型使用连续性的 CRF 完成深度估计，同时提出两个不同的变体，其中一个建立了多个 CRF 级联模型，另一个提出了一种结合模型；最后，作者在 NYUD-V2、Make3D 和 KITTI 等公共数据集上进行了大量实验，结果表明所提出方法得以有效地实现，并取得了目前最新的研究成果。

    Mar, 2018

  • 基于卷积神经网络的像素相位估计的泛化及基于 MRF 优化的一次性 3D 扫描相位解缠改进

    采用单幅投影的主动立体视觉技术，也称为一次性三维扫描，已经引起了产业、医学等领域的广泛关注。然而，一次性三维扫描存在稀疏重建的严重缺陷，并且由于空间模式的复杂性，在嵌入效率方面容易受到噪声的影响，从而导致解码不稳定。为了解决这些问题，我们提出了一种适用于任何类型的静态模式的像素级插值技术，只要该模式是规则且周期性的。通过使用经过高效数据增强算法预训练的 U-net，我们实现了这一目标。在本文中，为了进一步解决解码不稳定性问题，我们提出了一种基于马尔科夫随机场（MRF）优化的鲁棒对应点查找算法。我们还提出了一种基于 b 样条和高斯核插值的形状细化算法，使用明确检测到的激光曲线。实验证明了所提方法在强噪声和纹理实际数据上的有效性。

    Sep, 2023

  • 深度马尔可夫随机场用于图像建模

    本文提出了一种基于全连接神经元的新型 MRF 模型，将深度神经网络的表达能力和 MRF 的循环依赖结构结合在了一起，通过对多个 RNN 进行逆向连接形成的前馈网络的近似表示，实现了高效的学习和在各种低级视觉任务中的卓越表现。

    Sep, 2016