- 快速合成非正式视频
基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图,并且训练速度比现有方法快 100 倍。
- SplaTAM:基于 3D 高斯函数的 RGB-D 稠密 SLAM
用单个未对齐的单目 RGB-D 相机,通过使用 3D 高斯模型表示场景,我们首次展示了实现稠密的同时定位和映射 (SLAM)。我们的方法 SplaTAM 解决了基于辐射场的先前表示的限制,包括快速渲染和优化、确定区域是否已被映射和通过添加更 - VideoRF: 将动态辐射场渲染为 2D 特征视频流
该研究论文介绍了 VideoRF,这是第一个能够在移动平台上实时流式传输和渲染动态辐射场的方法,通过使用特定的训练方案和渲染流水线,实现了在移动设备上的高效实时渲染。
- 人体高斯扩散:可动化虚拟形象的实时渲染
该研究解决了从多视角视频中学习的逼真人体化身的实时渲染问题,通过提出了基于三维高斯散点的可动态化的人体模型,相较于现有方法,在 THuman4 数据集上呈现了 1.5dbB 更好的 PSNR,并能以 20fps 或更高的速度进行渲染。
- EvaSurf: 移动设备上高效视图感知的隐式纹理表面重建
在移动设备上,我们提出了一种名为 EvaSurf 的高效视图感知隐式纹理重建方法,它使用表面模型和内嵌高保真隐式纹理,结合轻量级神经着色器,以实现在移动设备上的实时渲染,从而为计算机视觉中的三维重建应用领域提供了高质量和高效率的解决方案。
- ICCV大场景实时神经光栅化
我们提出了一种逼真的实时小说视角综合(NVS)大场景的新方法,通过将中等质量的脚手架网格作为输入,学习神经纹理场和着色器以增强逼真感,同时使用标准图形管道进行实时渲染,我们的方法在大型自动驾驶和无人机场景中提供至少 30 倍更快的渲染速度与 - VR-NeRF:高保真虚拟行走空间
我们提出了一个端到端系统,用于在虚拟现实中高保真地捕捉、重建模型并进行实时渲染可行走空间,使用神经辐射场。
- UE4-NeRF: 大规模场景实时渲染的神经辐射场
该论文介绍了一个名为 UE4-NeRF 的神经渲染系统,专门用于实时渲染大规模场景,并通过将场景分区并进行顶点优化、与 UE4 的光栅化流水线相结合等方法,实现了在 4K 分辨率下以每秒 43 帧的帧率进行实时渲染,并获得了与最先进方法相媲 - 实时照片级动态场景表达与渲染:基于四维高斯呈焦
从 2D 图像中重建动态 3D 场景并随时间生成多样视角是一项具有挑战性的任务,本研究提出一种基于优化一组 4D 基元的方法,以近似表示动态场景的底层时空 4D 体积,通过特定的渲染程序,制造各种时间的新视角,该方法简单灵活,适用于捕捉复杂 - FuseSR: 通过高效多分辨率融合实时渲染的超分辨率
利用低成本高分辨率辅助 G 缓冲作为额外输入,我们提出了一种高效有效的超分辨率方法,通过多分辨率级别上的特征对齐和融合,能够以实时性能在 4K 分辨率上以 4 倍甚至 8 倍分辨率进行时间连贯的重建,相较于现有方法具有显著提高的质量和性能提 - GaussianDreamer:从文本到 3D 高斯点云投射的快速生成
该研究介绍了一种利用 3D 扩散模型和 2D 扩散模型结合的方法,通过高效的 3D 高斯雪花样表示,实现了快速生成高质量的 3D 实例,并且可以实时渲染。
- 具有球形分布基元的实时神经 BRDF
我们提出了一种新颖的紧凑高效的神经 BRDF,具有高度多功能的材料表示,但占用极低的内存和神经计算资源,以实现实时渲染。该方法将 BRDF 投影到两个低维组件中,即入射和出射方向的两个半球特征网格,并在定制的球面网格上分布可学习的神经反射原 - 实时动态场景渲染的 4D 高斯喷墨
4D 高斯喷洒 (4D-GS) 方法以高效率表示和呈现动态场景,通过构建有效的变形场来模拟高斯运动和形状变形,实现了高分辨率下的实时渲染,并且在保持与先前最新技术方法相当或更高质量的同时达到了 70 FPS。
- 空时中的乘法残差哈希神经视频分解
我们提出了一种视频分解方法,可以对具有时空变化照明和运动效果的视频进行基于层次的编辑。我们的神经模型将输入视频分解为多个分层表示,其中包括 2D 纹理贴图、原始视频的掩码以及表征光照条件时空变化的乘法残差。通过对纹理贴图进行单个编辑,可以在 - 高保真单目动态场景重建的可变形三维高斯模型
提出了一个使用可变形的 3D 高斯散射方法对动态场景进行重建和渲染,在实时渲染的速度和渲染质量方面优于现有方法。
- 实时辐射场渲染的三维高斯喷洒
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实 - ICCV一种新颖游戏数据集上高效的神经超采样
我们提出了一种新颖的神经算法,用于超采样渲染内容,比现有方法高效四倍,并保持相同的准确性水平。此外,我们还引入了一个新的数据集,该数据集提供了运动向量和深度等辅助模态,使用不同分辨率的图形渲染特征,如视口抖动和多级纹理偏差。我们相信,这个数 - Instruct-NeuralTalker: 用指令修改音频驱动的 Talking Radiance Fields
本文提出了一种基于人类指令的交互式框架,利用最新的条件扩散模型实现对隐式神经表示的编辑,从而实现实时个性化的对话人脸生成,其在消费级硬件上实现了每秒最高 30 帧的实时渲染,并取得了显著的渲染质量改善。
- 具有神经码本的紧凑实时辐射场
本文提出了一种使用压缩方法从紧凑的角度追求较小体积的神经辐射场的简单而有效的框架,该方法利用网格模型固有的代表特性,开发了非一致压缩方法以显着减少模型复杂性,并引入了名为 “神经码书” 的新颖参数化模块,通过快速优化来更好地编码每个场景模型 - 随机纹理过滤
本文研究了在渲染图像时,基于光照计算前滤波纹理而不是传统的基于 BSDF 计算前滤波会提高渲染效果,使用随机采样的纹理滤波可以实现高质量的纹理滤波,为实时渲染提供了更高效的方法。