May, 2023

基于深度学习的脚手架遮挡下场景恢复方法

PDF
TL;DR本研究提出了一种新的二步法方法，将像素级分割和图像修复结合起来，用于从脚手架遮挡中恢复建筑场景，并使用只基于无标签数据的低成本数据合成方法来解决标记数据的短缺困境。实验表明，该方法在脚手架分割和从脚手架遮挡中恢复场景方面实现了 92％的平均交叉点并（MIoU）和 82％以上的结构相似度（SSIM）的表现。
computer visionconstructionocclusionsegmentationimage inpainting
发现论文，激发创造
  • 基于时空特征的遮挡像素重建端到端框架用于改进行人再识别

    本研究提出了一种有效的 RGB 图像 / 视频的遮挡检测和重建框架，采用卷积神经网络进行遮挡检测，Conv-LSTM 和自编码器用于重建遮挡帧和使用条件生成对抗网络微调和修复重建的 RGB 帧，通过与其他先进技术比较分析，我们的方法在各种数据集上展现出鲁棒性，成为现实生活监控系统应用的优秀选择。

    Apr, 2023

  • 分割重构引导的面部图像去遮挡

    本研究提出了一种基于人脸分割和三维人脸重建的面部去遮挡模型，通过预测面部先验和遮挡掩码实现了对所有种类的面部遮挡（包括毛发等较模糊的边界）的自动去除，并为了监督训练进一步构建了一个大型遮挡数据集。实验证明，该方法有效且鲁棒。

    Dec, 2021

  • 可视化无形：遮挡车辆分割与恢复

    本文提出了一种新颖的迭代多任务框架，用于完成遮挡车辆的分割掩膜并恢复其不可见部分的外观，并在包含合成和真实世界图像的数据集上表明了我们的方法优于现有方法，同时也证明了外观恢复方法在遮挡车辆跟踪中的应用价值。

    Jul, 2019

  • O^2-Recon：利用预训练的 2D 扩散模型完成场景中被遮挡物体的 3D 重建

    本文提出了一个新颖的框架，利用基于扩散的 2D 修复模型，通过填补物体隐藏部分的 2D 图像来重建完整的表面，以及通过神经隐式表面表示优化每个实例的 3D 重建。实验结果表明，我们的方法在从 RGB-D 视频中进行物体级重建时达到了最先进的准确性和完整性。

    Aug, 2023

  • 幕后之幕：通过遮挡面完善增强室内 3D 场景重建

    利用深度读数完成室内三维重建和填充被遮挡表面的新方法，通过学习现有完整场景的三维几何先验推断未知场景的遮挡几何，提出了粗细层级的八叉树表示方法以及包含地理解码器和三维修复器两个部分的双解码器架构，显著提升三维重建的完整性。

    Apr, 2024

  • 遮挡序列中步态周期重建和人体识别

    本文提出了一种用于步态识别的神经网络模型，采用 LSTM 预测每个遮挡帧的嵌入，然后融合两个 LSTM 的预测结果，该模型能够重构输入序列中的遮挡帧以提高步态识别准确率，并通过实验验证的测试结果表明，该方法在处理遮挡情况下的步态识别明显优于其他现有的方法。

    Jun, 2022

  • 自监督场景去遮挡

    本文提出了一种基于自监督学习的新型解决方案，通过部分完成网络来恢复被认为不可见的物体的遮挡顺序和内容，从而完成场景的除遮挡，实现高质量、可控的图像操作和场景重组，以及将现有的模态掩模注释转换为全模掩模注释。

    Apr, 2020

  • SIDAR: 用于对齐与修复的合成图像数据集

    该研究提出了一种使用 3D 渲染的数据增强方法，以产生更接近于实际世界情境的图像失真。这种数据增强方法可用于训练和评估图像对齐和伪影去除等多种任务，并且可应用于任何现有的数据集以改进任何现有方法的特征学习能力。

    May, 2023

  • 场景补全的自动物体移除

    本文提出了一种基于结构的图像补全算法，采用边缘匹配技术推断未知区域的潜在结构，并沿着估计的曲线自动执行纹理合成，以产生具有一致结构和场景纹理的视觉上令人满意的图像，实验证明该方法可以潜在地用于 3D 场景重建和位置识别的后续大数据处理。

    Jan, 2015

  • 基于深度学习的图像围栏分割与去除方法 —— 以视频序列为例

    提出了一种基于遮挡感知光流方法的图像去护栏算法，通过将图像去护栏问题划分为从单个图像自动分割栅栏，估计已知遮挡下的运动和来自捕获视频多帧的数据融合等任务，使用预训练的卷积神经网络在单个图像中分割栅栏像素，并为最终数据融合步骤在视频的遮挡帧中估计光流。通过模拟退火算法将去护栏问题建模为优化框架，反问题使用快速迭代收缩阈值算法（FISTA）解决，实验结果表明了该算法的有效性。

    Sep, 2016