- MM移动设备上实时神经体渲染的研究
Neural Radiance Fields (NeRF) is a real-time rendering technique for synthesizing 3D objects from 2D images, with a focu - LGS:一种高效的手术场景重建轻量级 4D 高斯喷洒
通过引入轻量级 4D 高斯光斑框架(LGS),该研究解决了在资源有限的手术设备中妨碍实时渲染的存储问题,并在动态内窥镜重建中展现出较高的压缩率、良好的视觉质量和实时渲染效率。
- 用 3DGS 照亮每个黑暗:快速训练和实时渲染用于 HDR 视图合成
LE3D 通过引入三维高斯散射、锥形散射初始化、颜色 MLP 和深度失真及近远程规范化方法,实现了基于体积渲染的实时新视角合成、HDR 渲染、重点调整和色调映射,同时降低了训练时间和提高了渲染速度。
- ICML超点高斯飞溅实时高保真动态场景重建
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
- GFFE: 低延迟实时渲染的无 G 缓冲帧推断
提出了一种不需要额外延迟的新的帧外推方法,称为 GFFE,利用新颖的启发式框架和高效的神经网络,在实时情况下生成新的帧,并成功解决了双重插值和依赖 G-buffer 的帧外推方法所存在的问题。
- 高斯时光机:一种用于时变外观的实时渲染方法
本文提出了一种名为高斯时间机器(Gaussian Time Machine,GTM)的方法,通过使用离散化的时间嵌入向量由轻量级的多层感知机(Multi-Layer-Perceptron,MLP)解码来建模高斯图元的时间依赖属性。通过调整高 - MirrorGaussian:反射 3D 高斯函数用于重建镜面反射
借助 3D 高斯透射,利用镜像对称性,MirrorGaussian 提出了第一种基于 3D 高斯透射的实时渲染镜像场景重建方法,通过可微分光栅化策略优化 3D 高斯透射及其映射到镜像平面的过程,实现了高质量和实时渲染,对于带有镜子的场景达到 - CAT3D: 利用多视角扩散模型创建三维任何物体
用于高质量 3D 捕捉的 CAT3D 方法模拟实际捕捉过程中的多视图扩散模型,通过给定任意数量的输入图像和一组目标新视点,生成高度一致的场景新视图,可用作强大的 3D 重建技术的输入,以实时渲染任意视点的 3D 表示。CAT3D 在短短一分 - 从 NeRF 到高斯点,然后回来
在机器人应用中,参数化表示如神经辐射场(NeRF)相较于非参数化表示如高斯分块(GS)更具泛化能力,但 GS 渲染速度更快。我们开发了一种在这两者之间进行转换的方法,既拥有 NeRF 的优势(在不同视图下具有更好的 PSNR、SSIM 和 - 实时神经网络编织物渲染
本研究提出一个轻量级神经网络,能够以多个尺度表示不同类型的机织面料,通过编码面料图案和参数为一个小的潜在向量再经由一个小的解码器进行解释而实现。该网络通过像素的足迹作为输入,实现了多尺度表示,其结构轻量且占用存储空间小,能够以接近 60 帧 - GSTalker: 实时基于声音驱动的可变形高斯平铺生成对话脸部
通过 Gaussian Splatting 进行 3D 音频驱动的说话人脸生成模型的快速训练和实时渲染,可在短时间内生成高保真度和音频同步的结果。
- OMEGAS: 基于高斯分割的大型场景物体网格提取
从大场景中精确重建特定物体的 3D 重建技术进展,提出了一种名为 OMEGAS 的框架,通过分割引导和分析方法,实现了准确的物体分割和背景去除,从而有效地提取 3D 物体网格。
- Oblique-MERF: 对倾斜摄影进行重访和改进的 MERF
本文提出了一种名为 Oblique-MERF 的方法,在处理倾斜航拍照片重建 3D 场景时,通过引入一个创新的自适应占用平面和一个平滑正则化项来解决独特的数据特征,从而超越当前最先进的实时方法,降低 VRAM 使用量约 40%并在大多数视点 - CVPR具有网格锚定哈希表融合形状的高效三维隐式头像
提出了一种新颖的快速 3D 神经隐式头像模型,实现实时渲染并保持细粒度的可控性和高渲染质量。本方法引入局部哈希表混合形状,通过线性合并和卷积神经网络预测的权重,将其附加到底层面部参数模型的顶点上,从而实现表情相关的嵌入。通过轻量级多层感知机 - CityGaussian: 高质量大规模场景实时渲染
CityGaussian employs a divide-and-conquer training approach and Level-of-Detail strategy for efficient large-scale 3D Ga - 镜面 - 3D 高斯飞溅中并入镜面反射
Mirror-3DGS is an innovative rendering framework that addresses the challenge of accurately modeling mirror reflections - Pixel-GS: 使用像素感知梯度进行 3D 高斯喷洒的密度控制
提出了一种名为 Pixel-GS 的新方法,通过考虑每个视图中高斯函数覆盖的像素数量来计算增长条件,从而促进大型高斯函数的增长,实现了更精确、更详细的重构,同时保持实时渲染速度和最新的渲染质量。
- RadSplat: 用于鲁棒实时渲染的辐射场引导高斯涂抹,每秒 900 + 帧
本研究提出了一种名为 RadSplat 的轻量级方法,用于复杂场景的鲁棒实时渲染。该方法通过使用辐射场作为先验和监督信号来优化基于点的场景表示,提高了渲染质量和鲁棒优化。同时,我们开发了一种新颖的剪枝技术,减少了点的数量且保持高质量,使场景 - BAD-Gaussians:捆绑调整模糊高斯喷塗
BAD-Gaussians 是一种新的方法,利用显式高斯表示和处理照相机姿势不准确的重度运动模糊图像,实现高质量的场景重建,并通过显式优化控制点云的高斯球来实现实时渲染。
- Texture-GS: 三维高斯点描编辑中几何与纹理的解藕
通过提出一种称为 Texture-GS 的新方法,使用 3D 高斯喷射技术,可以实现高保真的外观编辑和实时渲染。它通过将外观和几何表示为附着在三维表面上的二维纹理来实现外观与几何的解离,从而增强了编辑操作的灵活性。通过在 DTU 数据集上进