Aug, 2021

学习宽基线下极度稀疏光场的动态插值

HTML
PDF
TL;DR本文提出了一种可学习的动态插值模型——动态插值，用于替代通常使用的几何扭曲操作来重建稀疏采样的密集光场，通过估计输入视图之间的几何关系来动态地学习为每个像素的新视图插值相邻像素的权重，以适应不同的图像内容信息。实验结果表明，与现有方法相比，重建的光场具有更高的PSNR/SSIM，保留了更好的光场视差结构。
发现论文，激发创造
  • 基于注意力引导的混合透镜融合的光场超分辨率

    本文利用新颖的端到端学习法解决通过混合镜头（高分辨率相机周围有多个低分辨率相机）重建高分辨率光场图像的问题，通过深度多维和跨域特征表征回归一个具有空间一致性的中间估计，同时构建另一个维护高频纹理的中间估计，在通过学习的注意图整合两个中间估计的优势，最终重建高分辨率的光场图像。实验证明本研究方法相较于现有技术在提高峰值信噪比两个单位的同时保留了光场结构，并且是首个使用端到端深度学习方法解决混合输入高分辨率光场图像问题。

    Jul, 2019

  • 基于高维稠密残差卷积神经网络的光场重建

    利用基于张量恢复的学习框架进行高维光场重建和超分辨率，并通过多范围训练策略，提出一种新的归一化操作和阶段性损失函数来改善性能。在多个光场数据集中，该方法实现了优越的性能和更少的执行时间。

    Oct, 2019

  • 通过几何感知网络学习光场角超分辨率

    本论文提出了一种基于端到端学习的方法，旨在通过充分利用光场的内在几何信息，对大基线光场进行角向超分辨率处理。实验证明，该方法与现有最先进的方法相比，平均提高了2 dB的峰值信噪比，并节省了48倍的执行时间，同时更好地保持光场视差结构。

    Feb, 2020

  • 使用循环一致性自监督的光场视角合成

    提出了一种自监督的光场视图合成框架，利用循环一致性约束和两个损失函数（循环损失和重建损失）来生成稠密的中间视图，并通过高质量自然视频数据的先验知识来减少标记的光场数据的需求，具有与有监督微调相当的性能，并优于现有技术。

    Aug, 2020

  • Light Field Networks: 单次计算渲染的神经场景表示

    本文提出了一种新型的神经场景表示法，Light Field Networks (LFNs)，其可实现基于单一神经网络评估的360度四维光场参数化的几何和外观，通过元学习优化LFNs的先验使其能够从单个图像观察中实现多视角一致的光场重建，从而实现了实时渲染，并能够从LFNs中提取稀疏深度图。

    Jun, 2021

  • 基于体素格优化的辐射场重建：超快收敛

    我们提出了一种超快速收敛的方法，通过从拍摄场景的一组图像中重建场景辐射场来最新的视点合成，该方法采用密度体素网格表示场景几何和 shallow network 表示复杂的视角相关的外观，同时采用了后激活插值和一些先验约束技术，从而使训练时间缩短到 15 分钟以内，并达到了前沿的质量水平。

    Nov, 2021

  • 使用光线空间嵌入网络学习神经光场

    本文提出了一种紧凑且直接预测射线上积分辐射度的新型神经光场表示方法，支持小基线光场数据集每像素一次网络评估的渲染，并可应用于大基线场景。

    Dec, 2021

  • 轻场景神经渲染

    本文提出了一种基于四维光场表示的双阶段变压器模型，旨在弥合几何重建和经典光场渲染之间的差距，通过强制约束几何约束，使得场景几何隐含在稀疏的视角学习中，并在多个前向和360度数据集上超越了最先进技术，尤其是在视角变化剧烈的情况下。

    Dec, 2021

  • 基于扩散的光场合成

    通过仅使用单个RGB图像作为输入，LFdiff采用基于扩散的生成框架针对光场合成进行设计，利用单目深度估计网络估计视差并结合新颖的条件方案和面向光场数据的噪声估计网络。实验结果表明，LFdiff在综合光场合成方面具有卓越表现，并且生成的光场数据具有广泛的应用性，涵盖了光场超分辨率和重焦等应用领域。

    Feb, 2024

  • 面向快速稀疏输入动态视图合成的分解运动场

    为快速优化和渲染设计动态场景的三维表示是一项具有挑战性的任务，本文旨在使用稀疏的输入视点学习快速的动态辐射场表示，并引入可靠的流先验来限制运动模型，从而实现对稀疏输入视点的优化。

    Apr, 2024