Feb, 2024

基于扩散的光场合成

PDF
TL;DR通过仅使用单个 RGB 图像作为输入，LFdiff 采用基于扩散的生成框架针对光场合成进行设计，利用单目深度估计网络估计视差并结合新颖的条件方案和面向光场数据的噪声估计网络。实验结果表明，LFdiff 在综合光场合成方面具有卓越表现，并且生成的光场数据具有广泛的应用性，涵盖了光场超分辨率和重焦等应用领域。
light fieldslfdiffsynthesisdisparity estimationgenerative framework
发现论文，激发创造
  • 光场扩散用于单视角新视角合成

    单视角新视角合成是计算机视觉中一项重要而具有挑战性的任务。本文提出了一种基于条件扩散模型的 Light Field Diffusion，通过引入局部像素约束，鼓励更好的多视角一致性，实现高保真图像的生成。

    Sep, 2023

  • LFSRDiff：基于扩散模型的光场图像超分辨率

    通过引入 LFSRDiff，首个基于扩散的光场图像超分模型，将 LF 解缠机制与扩散模型相结合，实现了在 LF 图像中更有效地提取和融合空间和角度信息，产生了多样且逼真的超分辨结果，尤其在感知度量方面表现出较高的水平。

    Nov, 2023

  • 利用光场综合的生成模型进行深度估计

    本研究提出了一种新的框架，它可以从光场数据中恢复高质量的连续深度图，其中包括基于深度图完全参数化的光场生成模型，并结合非局部均值先验等强大的正规化技术以实现准确的深度图估计。

    Sep, 2016

  • GRAF: 用于三维感知图像合成的生成辐射场

    本文提出了一种基于放射场的生成模型，该模型具有高保真度的可渲染三维一致模型，能够更准确地控制相机视点和物体姿态，并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。

    Jul, 2020

  • 深度表面光场

    本文提出了一种名为 Deep Surface Light Field（DSLF）的新型神经网络技术来高保真渲染，它可利用不同的采样模式和预测能力填充缺失数据，同时通过图像配准和纹理感知重新网格化以避免模糊，大幅提高了数据压缩比和 GPU 渲染效率。

    Oct, 2018

  • 基于学习的光场相机视角合成

    本文提出了一种新的基于机器学习的方法用于从稀疏的视角图像中合成新的视角图像，该方法使用了两个 CNN 来分别对视差和颜色进行估计，并通过最小化合成图像与标准图像之间的误差来同时训练两个网络。实验结果表明该方法能够合成出高质量的图像并优于现有的技术，该方法可以潜在地降低消费者光场相机所需的角度分辨率，从而提高空间分辨率。

    Sep, 2016

  • 光场分解用于超分辨率和视差估计

    本文介绍了一种用于轻场摄像机数据处理的卷积神经网络，利用分离机制处理空间和角度信息间的交织以实现空间分辨率的提升，角度超分辨率和视差估计。实验结果表明，该方法在所有三个任务实现了最好的表现。

    Feb, 2022

  • DiffRF: 基于渲染引导的 3D 辐射场扩散

    DiffRF 是一种针对三维辐射场合成的新方法，利用去噪扩散概率模型生成体积辐射场。通过将去噪公式与渲染损失配对，我们的模型可以学习偏态先验，使其倾向于良好的图像质量而不是试图复制浮动伪像等拟合误差。与 3D GAN 相比，我们的扩散方法自然地实现了条件生成，例如掩蔽完成或推理时的单视图 3D 合成。

    Dec, 2022

  • 光场空间分辨率增强框架

    光场成像具有捕捉角度和空间光分布的能力，通过模块化方法进行分辨率增强，以每个光场视角独立增强分辨率的纹理变换网络，并利用光场的规则性来同时提高所有光场图像视角的分辨率，相比现有方法在定性和定量评估方面表现出更好的性能。

    May, 2024

  • NeuLF: 基于神经网络的 4D 光场高效新视角合成

    本文提出了一种深度学习方法，用于复杂场景的新视角合成，通过将 3D 场景表示为光场，并采用两平面参数化的光场，用 4D 参数特征化光线，构建 4D 函数实现映射，最后采用全连接网络优化该函数并合成新视角，同时附加了 per-ray depth 预测，提高了光场渲染质量，实验表明本方法优于现有技术。

    May, 2021