ConRad: 基于图像约束的辐射场 3D 生成
本文提出了一种基于神经辐射场的方法,通过使用已有的条件图像生成器引导其 “创造” 目标物体的新视图,通过 DreamFields 和 DreamFusion 的启发,将给定的输入视图、条件先验和其他正则化参数融合在一起,从而解决了从单张图像进行 360° 拍摄的问题,并在单眼 3D 建模重建中达到了最先进的效果。
Feb, 2023
利用文本或视觉输入作为条件因素,本文旨在实现 3D 场景中的零样式条件下的控制式灵活化。我们介绍了一种新方法 ConRF,通过将 CLIP 特征空间映射到预训练 VGG 网络的样式空间并进一步将 CLIP 多模态知识转化为样式转换神经辐射场,从而消除了现有 3D NeRF 样式转换方法中的再训练需求。此外,我们使用 3D 体积表示进行局部样式转换。通过结合这些操作,ConRF 可以利用文本或图像参考,生成经由全局或局部样式增强的新视图序列。实验证明,ConRF 在 3D 场景和单文本样式化方面的视觉质量优于其他现有方法。
Feb, 2024
基于神经辐射场(Neural Radiance Field,NeRF)的方法可以对多视角图像进行高质量的新视角合成。本研究提出了一种从输入的灰度多视角图像中合成着色的新视角的方法。通过将基于图像或视频的着色方法应用于生成的灰度新视角,我们发现由于视角不一致性而引起了伪影。通过在着色灰度图像序列上训练辐射场网络也无法解决 3D 一致性问题。我们提出了一种基于蒸馏的方法,将自然图像上训练的着色网络中的颜色知识转移到辐射场网络中。具体而言,我们的方法使用辐射场网络作为 3D 表示,并从现有的 2D 着色方法中迁移知识。实验结果表明,所提出的方法在室内和室外场景下产生了优秀的着色新视角,同时保持着视角间的一致性。此外,我们还展示了我们的方法在基于红外(IR)多视角图像和旧的灰度多视角图像序列的辐射场网络着色等应用中的有效性。
Sep, 2023
这篇研究论文提出了一种新型神经网络,可以从 2D 观察中隐式地表示和渲染 3D 物体和场景,通过将 2D 图像中的像素特征投影到 3D 点上,并使用聚合策略来考虑视觉遮挡,生成高质量逼真的新视角。
Oct, 2020
本文提出了一种基于放射场的生成模型,该模型具有高保真度的可渲染三维一致模型,能够更准确地控制相机视点和物体姿态,并通过一个多尺度基于补丁的鉴别器来演示高分辨率图像的合成。
Jul, 2020
本文提出了利用神经辐射场学习单个视角下的 3D 物体建模方法,并通过类别级别的训练数据来重建物体外形,进而实现新视角综合渲染和单目深度估计的高精度结果。
Nov, 2021
使用少量照片重建现实场景的方法,通过在合成和多视图数据集上训练的扩散先验来对新视角的合成进行规范化,从而在超约束区域综合出逼真的几何和纹理,同时保持观察区域的外观。与以前的少视图 NeRF 重建方法相比,我们在各种真实世界数据集上进行了广泛评估,包括正向和 360 度场景,并展示了显著的性能改进。
Dec, 2023
本文介绍了一种基于神经网络的方法来从单张图片中估计物体的 3D 形状和外观,将其分解成形状和外观两个隐变量,通过优化这两个变量和网络参数,可以精准地还原输入物体,并能够处理训练领域之外的真实图像。
Feb, 2021
该论文提出了一种快速、高质量的单张图像推断和呈现真实感三维重建的方法,使用基于视觉 Transformer 的三面板编码器,利用合成数据进行训练,通过卷积渲染技术对神经辐射场的规范三面板进行重建,可以在具有 3D 感知图像生成器的其他类别中应用。
May, 2023