一种为机器学习生成可定制光场数据集的新方法
介绍了一个新的光场数据集,并利用深度学习在 4D 光场上进行材料识别。实验中,最佳表现的 CNN 架构相比 2D 图像分类提高了 7%(从 70%到 77%),这些结果构成了对 CNN 应用于光场应用的重要基线。
Aug, 2016
我们建立了一个自定义的移动多相机大空间密集光场捕捉系统,为各种场景提供一系列高质量和足够密集的光场图像。我们的目标是为 IBRnet、NeRF 和 3D 高斯分解等流行的 3D 场景重建算法做出贡献。此外,我们收集的数据集比现有数据集更密集,可能激发面向空间的光场重建,与物体为中心的 3D 重建不同,从而实现沉浸式虚拟现实 / 增强现实体验。
Mar, 2024
本文提出了一种名为 Deep Surface Light Field(DSLF)的新型神经网络技术来高保真渲染,它可利用不同的采样模式和预测能力填充缺失数据,同时通过图像配准和纹理感知重新网格化以避免模糊,大幅提高了数据压缩比和 GPU 渲染效率。
Oct, 2018
本文提出了一种新的基于机器学习的方法用于从稀疏的视角图像中合成新的视角图像,该方法使用了两个 CNN 来分别对视差和颜色进行估计,并通过最小化合成图像与标准图像之间的误差来同时训练两个网络。实验结果表明该方法能够合成出高质量的图像并优于现有的技术,该方法可以潜在地降低消费者光场相机所需的角度分辨率,从而提高空间分辨率。
Sep, 2016
本研究提出了一种新的框架,它可以从光场数据中恢复高质量的连续深度图,其中包括基于深度图完全参数化的光场生成模型,并结合非局部均值先验等强大的正规化技术以实现准确的深度图估计。
Sep, 2016
本论文提出了一种机器学习算法,输入一个 2D RGB 图像并合成一个 4D RGBD 光场,用于场景的颜色和深度方向的射线,同时介绍了最大的公共光场数据集,以及应用的卷积神经网络。
Aug, 2017
本文提出了一种深度学习方法,用于复杂场景的新视角合成,通过将 3D 场景表示为光场,并采用两平面参数化的光场,用 4D 参数特征化光线,构建 4D 函数实现映射,最后采用全连接网络优化该函数并合成新视角,同时附加了 per-ray depth 预测,提高了光场渲染质量,实验表明本方法优于现有技术。
May, 2021
本研究提出了一种新的基于 CNN 的光场显著性检测框架,提出了三个新颖的 MAC(模型角度改变)块来处理光场微透镜图像,同时还建立了一个大规模的数据集和标准,可以用来训练更深的神经网络和进行评测,实验证明,我们的方法在该数据集上明显优于现有的最先进方法,并在其他数据集上具有理想的泛化能力。
Jun, 2019
本研究介绍了一个包含超过 1000 个真实场景的多光照数据集,每个场景都在 25 种不同的光照条件下进行了捕获。作者使用此数据集训练了针对三个应用的最新模型:单张图像光照估计、图像重新照明和混合光源白平衡。
Oct, 2019
本文介绍了一种基于深度神经网络的光场视频插值系统,将三帧每秒的光场图像和标准的 30 帧每秒二维视频相结合,使用流估计和外观估计生成一个完整的光场视频,使得消费级光场摄影和诸如聚焦和视差视图的应用首次可用于视频。
May, 2017