Jul, 2024

EaDeblur-GS: 基于事件辅助的高斯重构的三维去模糊

HTML
PDF
TL;DR3D去模糊重建技术的研究在最近得到了显著的进展，Neural Radiance Fields (NeRF)和3D Gaussian Splatting (3DGS)的发展使得它们能够从模糊的图像输入中恢复相对清晰的3D重建，但仍然存在对严重模糊和复杂摄像机运动的处理限制。为了解决这些问题，我们提出了一种基于事件辅助的3D去模糊重建和高斯扰动(EaDeblur-GS)的方法，该方法将事件相机数据集成到3DGS中，增强其对运动模糊的鲁棒性。通过使用自适应偏差估计器(Adaptive Deviation Estimator，ADE)网络来估计高斯中心偏差，并使用新颖的损失函数，EaDeblur-GS能够实时实现清晰的3D重建，表现与最先进的方法相当。
发现论文，激发创造
  • BAD-Gaussians：捆绑调整模糊高斯喷塗

    BAD-Gaussians是一种新的方法，利用显式高斯表示和处理照相机姿势不准确的重度运动模糊图像，实现高质量的场景重建，并通过显式优化控制点云的高斯球来实现实时渲染。

    Mar, 2024

  • 鲁棒的高斯点云糊化

    本文主要研究了3D高斯喷洒（3DGS）中的常见误差源，包括模糊、不完美的相机姿态以及颜色不一致性，旨在改善其在像手持手机拍摄的实际应用中的鲁棒性。通过将运动模糊建模为相机姿态上的高斯分布，我们可以统一处理相机姿态的精炼和运动模糊矫正，并提出了解决散焦模糊补偿和解决由环境光、阴影或相机相关因素引起的颜色不一致性的机制。我们的解决方案与3DGS的配方无缝集成，同时保持其在训练效率和渲染速度方面的优势。通过在Scannet++和Deblur-NeRF等相关基准数据集上进行实验证实，我们的贡献取得了最先进的结果，相对于相关基准线实现了一致的性能改进。

    Apr, 2024

  • DeblurGS：相机运动模糊的高斯喷洒

    通过使用3D高斯喷洒来优化运动模糊图像中的清晰3D场景，我们的方法DeblurGS克服了初始相机姿态获取中的不准确性并实现了最先进的去模糊和新视角合成性能。

    Apr, 2024

  • EvGGS: 一种用于事件驱动广义高斯绘制的协同学习框架

    通过事件输入，我们提出了首个基于事件的通用三维重构框架EvGGS，它以前馈方式从事件输入中将场景重构为三维高斯场，并可以泛化到未见过的情况，无需重新训练。

    May, 2024

  • EvaGaussians：基于事件流辅助的高斯光照散焦模糊图像处理

    使用事件相机辅助高斯投射方法(EvaGaussians)对模糊图像进行清晰重建，通过优化3D-GS参数和恢复相机运动轨迹，产生高保真度的新视图。

    May, 2024

  • E2GS: 事件增强的高斯点云投射

    使用Event Enhanced Gaussian Splatting（E2GS）方法，结合事件数据和高斯分层方法，以提高图像去模糊和产生高质量的新视角合成，并在综合实验中展示了较快训练和渲染速度（140 FPS）

    Jun, 2024

  • 事件辅助自由轨迹三维高斯点云渲染

    本研究解决了传统相机在高速度场景下重建的局限性，首次将事件相机引入到 casually captured video 的场景构建中。通过提出 EF-3DGS 方法，利用事件生成模型、对比最大化框架及光度束调整技术，不仅增强了场景重建的准确性，还提高了基于事件的运动信息提取效果，具有重要的应用潜力。

    Oct, 2024

  • GS-Blur：用于真实图像去模糊的3D场景基础数据集

    本研究旨在解决传统去模糊数据集中模糊图像多样性不足的问题。通过利用3D高斯散射技术重建3D场景，然后沿随机生成的运动轨迹渲染模糊图像，我们提出了GS-Blur数据集，该数据集能够提供丰富的真实和多样化模糊类型。实验表明，GS-Blur在去模糊性能上相比于以往的数据集有显著提升，能够更好地适应现实模糊场景。

    Oct, 2024

  • 事件增强的可变形3D高斯体用于快速动态场景重建

    本研究解决了快速动态场景重建中RGB相机的低时间分辨率带来的问题。通过结合高时间分辨率的事件相机与可变形3D高斯体，提出了一种GS-阈值联合建模策略，显著提升了重建质量，并通过动态-静态分解策略加快了渲染速度。这种新方法在RTX 3090 GPU上实现高保真动态重建，帧率达到156 FPS。

    Nov, 2024

  • Deblur4DGS：来自模糊单目视频的4D高斯散射

    本研究针对现有4D重建方法在处理模糊视频时效果不佳的问题，提出了一种新的4D高斯散射框架Deblur4DGS，以从模糊单目视频中重建高质量的4D模型。我们的关键创新在于将连续动态表示的估计转化为曝光时间的估计，实验证明该方法优于现有的4D重建技术，具有广泛的应用潜力，如去模糊、帧插值和视频稳定化。

    Dec, 2024