- 快速合成非正式视频
基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图,并且训练速度比现有方法快 100 倍。
- ViVid-1-to-3:带视频扩散模型的新视角合成
利用预训练的视频扩散模型,我们演示了一种非常简单的方法,通过合成互补视角的扫描视频来生成新视角,从而实现高度一致的新视图合成。
- 消除短暂物体:街景合成的联合相机改进和短暂物体移除
通过使用神经点光场场景表示,我们提出了一种处理室外情景视图合成的方法,该方法能够解决运动物体和相机姿态漂移等挑战,并通过检测和屏蔽动态物体来重构无瑕疵的新场景,同时优化相机姿态和视图合成过程,从而实现两者的同时改进。通过在真实世界的城市数据 - 通过单张编码图像重建连续光场
我们提出了一种方法,可以从单个观测图像中重建目标场景的连续光场。我们的方法综合了两个方面的优点:联合孔径曝光编码用于压缩光场获取以及神经辐射场(NeRF)用于视图合成,从而实现高质量的连续光场重建。
- VoxNeRF:连接体素表示和神经辐射场,用于增强室内视角合成
VoxNeRF 是一种利用体积表示增强室内视图合成质量和效率的新方法,通过构建结构化场景几何并将其转换为基于体素的表示,以及采用独特的基于体素引导的高效采样技术,成功地提高了视图合成的效果。VoxNeRF 在速度上甚至超越了 Instant - UP-NeRF: 无限制姿态先验的神经辐射场
使用 UP-NeRF(无约束姿势先验的神经辐射场)优化 NeRF 以处理无约束图像集合和瞬态遮挡,通过优化颜色不敏感特征场和独立模块来处理瞬态遮挡,实现更鲁棒的姿势估计及深度监督。在具有挑战性的互联网照片集合(Phototourism 数据 - DynPoint: 动态神经点对视图合成
为了解决现有算法在处理无控制或长时间场景时的困难以及需要针对每个新场景进行大量训练时间的限制,我们提出了 DynPoint 算法,用于实现无约束单目视频的快速合成新视角。该算法通过预测相邻帧之间的显式 3D 对应关系来实现信息聚合,并利用这 - Open-NeRF:面向开放词汇的 NeRF 分解
该研究关注解决从开放词汇中将神经辐射场(NeRF)分解为对象的挑战,这对于三维重建和视图合成中的对象操作是至关重要的。我们提出了 Open-NeRF,利用大规模、现成的分割模型,如 Segment Anything Model(SAM),并 - 利用点云生成进行近表面采样的神经辐射场改进
该论文提出了一种改进 NeRF 渲染质量的近表面采样框架,通过估计 3D 场景的表面,只在表面周围进行采样,从而提高了渲染质量,并且能够显著加速 NeRF 模型的训练时间。
- 拖动视图:通过无表征图像生成泛化的新视图
通过 DragView 框架,可以生成具有新视角的场景,无需 2D 先验模型或摄像机姿态估计,实现了与其他无姿态要求的场景表示网络相比优秀的视图合成质量,并能够生成具有灵活摄像机轨迹的逼真新视角。
- MMPI: 多重多层次图像混合的灵活辐射场表示
本文提出了一种基于多平面图像(MPI)的神经辐射场的灵活表示方法,用于复杂场景的高质量视图合成。通过多平面图像的参数化和自适应混合操作,实现了对复杂场景下各种视角和摄像机分布的高质量图像合成和长轨迹编码,从而在新视角合成方面超越了快速训练的 - P2I-NET:通过对抗学习将相机姿态映射到图像以实现实时室内环境中的新视图合成
基于给定的室内环境中的新 6DoF 相机位姿,研究基于一组参考 RGBD 视图预测该位姿下的视角的难题,并提出了一种条件生成对抗神经网络(P2I-NET)来直接预测给定位姿下的新视角。
- ExBluRF:用于极度运动模糊图像的高效辐射场
ExBluRF 是一种基于高效辐射场优化的极度运动模糊图像视图合成方法,通过在训练中优化尖锐的辐射场,同时估计生成模糊图像的相机轨迹,从极度模糊的图像中获取相机轨迹信息和辐射场。与现有方法相比,这种方法在更短的训练时间和 GPU 内存消耗下 - 贝叶斯光线:神经辐射场的不确定性量化
我们介绍了 BayesRays,一个后处理框架,用于评估任何预训练的 NeRF 模型中的不确定性,通过使用空间扰动和贝叶斯拉普拉斯近似建立体积不确定场,我们通过统计推导证明了该算法在关键指标和应用方面的优越性能。
- 单图像新视角合成的深度自监督
通过联合优化图像生成和深度估计的框架,我们的方法在无视角预测的任务上取得了较高的生成图像质量和更准确的目标视角深度。
- ICCVNeO 360:面向稀疏视角合成室外场景的神经场
NeO 360 是一种用于稀疏视图合成的新方法,能从少至一张图像中重建 360 度户外场景,并在探测期间无需优化大量视角。
- ICCV增强 NeRF 类似于增强 LLMs:具有混合视图专家的通用 NeRF Transformer
使用大规模语言模型中的 Mixture-of-Experts (MoE) 方法来增强一种称为 GNT 的 NeRF 模型,建立了一种能够合成未见场景新视角的跨场景可泛化的 NeRF 模型,称为 GNT with Mixture-of-Vie - ICCV利用神经辐射分布场进行高效视图合成
提出了一种名为 NeRDF 的新表示方法,旨在实现实时的高效视图合成,通过基频和频率权重的网络预测实现单像素每次只进行一次网络转发,并通过辐射分布进行体素渲染计算,相比现有方法在速度、质量和网络尺寸方面具有更好的权衡,实现了与 NeRF 相 - ICCVDReg-NeRF:神经辐射场的深度配准
通过使用 DReg-NeRF 方法,我们能够在不需要人为干预的情况下解决对象中心场景的 NeRF 注册问题,并通过构建一个新颖的视图综合数据集进行训练,从而在测试集上显著超过目前最先进的点云注册方法。
- MM挖掘室外神经辐射场的深度先验
通过在室外神经辐射场中使用深度先验方法,本研究对常见的深度感知技术和各种应用方式进行了全面的研究和评估,实验证明了一些有趣的发现,有助于实践者和研究人员在训练具有深度先验的神经辐射场模型时获得更好的效果。