GANESH:通用化的无镜头成像神经辐射场
本文介绍了利用边界计算的可训练神经网络结构,基于物理系统的先验知识优化传统基于模型的重建算法参数,并通过实验验证其在实际图像中的推广性和效果优越性,从而在掩膜无透镜成像器中实现更好的感知图像质量和更快速的图像采集处理。
Aug, 2019
在高保真度3D场景重建方面,神经场的最新进展已经有了实质性的提升。然而,大多数现有方法为每个独立场景训练单独的神经网络,这不可扩展、低效且对有限视角下的结果不理想。本研究引入了训练可推广的神经场,将场景先验结合其中,从而更好地解决上述问题,并支持单张图像的新视角合成。
Sep, 2023
这篇研究提出了一种名为Free3D的简单方法,用于通过单张图像进行开放集合的新视角合成。使用编码目标相机姿势的新的像素级射线调节归一化(RCN)层,改进了目标相机姿势的建模。同时通过轻量级多视图注意力层和多视图噪声共享提高了多视图一致性。我们在Objaverse数据集上训练了Free3D,并在几个新数据集中展示了其卓越的泛化性能。希望我们的简单而有效的方法能够作为一个坚实的基准,并有助于未来关于新视角合成更精确的研究。
Dec, 2023
本研究提出了一种名为GaNI的全球和近场照明感知的神经逆渲染技术,能够从光和相机共同拍摄的场景图像中重建几何、反射率和粗糙度参数。我们通过两个阶段的方法来解决现有的逆渲染技术只能针对单个物体的问题,首先利用神经体积渲染NeuS重建几何,然后使用先前预测的几何来估计反射率和粗糙度。实验证明,我们的方法在合成和真实数据上表现优于现有的基于光和相机共同拍摄的逆渲染技术,能够产生更好的反射率和略微更好的几何。
Mar, 2024
我们提出了一种新的多PSF无镜成像方法,采用双鉴别器循环对抗框架,通过稀疏卷积PSF感知辅助分支的独特生成器架构,结合训练循环中集成的前向模型,实现物理信息学习来处理无镜和有镜图像之间的大规模领域差距,全面的性能评估和消融研究凸显了我们模型的有效性,提供了强大而适应性强的无镜图像重建能力,我们的方法在单个PSF情况下实现了与现有PSF不可知生成方法相当的性能,并且在无需重新训练的情况下展示了对PSF变化的鲁棒性。
Jul, 2024
提出了一种名为GAURA的学习方法,可以在多种退化条件下实现高保真度的新视图合成,包括低光增强、去雾、除雨,并能快速适应新的退化类型,如去雪和消除虚焦模糊。
Jul, 2024
该研究解决了稀疏输入下三维重建中细致几何细节捕捉不足和遮挡区域处理困难的问题。通过利用神经辐射场(NeRF)的高效特征转移,提出了一种新方法来学习准确的占据场,从而显著缩短训练时间,并在重建精度方面达到最先进的水平,尤其是在具有挑战性的稀疏输入数据和遮挡区域的场景中。
Aug, 2024
本研究解决了无镜头成像中的一个关键问题,即外部照明干扰对图像恢复的影响。通过结合基于物理的重构与深度学习方法,我们提出了多种恢复技术,以改善在各种照明条件下的图像质量。结果表明,与标准重构方法相比,我们的方法在定性和定量上都取得了显著的改善,具有广泛的实际应用潜力。
Sep, 2024
本文提出了一种名为NoPoSplat的前馈模型,旨在解决从稀疏无姿态多视角图像重建3D场景的问题。该模型通过仅使用光度损失进行训练,实现了实时3D高斯重建,且无需准确的姿态输入,大幅提升了重建质量和精度,尤其在输入图像重叠有限的情况下表现卓越。
Oct, 2024
本研究解决了在低数据环境下无镜像图像重建的挑战,提出了一种利用隐式神经表达进行去模糊的新方法。这一方法无需先前训练,通过嵌入先验的无训练迭代优化显著提升了重建性能和收敛速度,表现出优于现有多种低shot方法的显著优势。
Nov, 2024