Jun, 2024

SuperGaussian: 将视频模型用于 3D 超分辨率改造

PDF
TL;DR通过重复使用现有的视频模型进行 3D 超分辨率，我们提出了一种简单、模块化和通用的方法，以增加粗糙 3D 模型的几何和外观细节，从而显著提高最终 3D 模型的保真度。
3d modelsupsamplinggeometric detailsappearance detailsrepurposing video models
发现论文，激发创造
  • 超点高斯飞溅实时高保真动态场景重建

    提出了一种名为 Superpoint Gaussian Splatting（SP-GS）的新框架，该框架通过使用显式的 3D 高斯函数来重构场景，并将具有相似属性的高斯函数聚类成超点，从而实现了对动态场景的实时渲染，获得了最新的视觉质量。

    Jun, 2024

  • VideoGigaGAN: 面向富有丰富细节的视频超分辨率

    VideoGigaGAN 是一种新的生成 VSR 模型，能够产生具有高频细节和时间一致性的视频。该模型通过引入几个关键技术来显著改善视频上采样的时间一致性，与先前的 VSR 方法不同，VideoGigaGAN 生成具有更精细外观细节的时间一致视频。

    Apr, 2024

  • 视频溅射：多功能处理的视频高斯表示

    我们引入了一种新颖的显式三维表示 - 视频高斯表示，用三维高斯将视频嵌入其中，以模拟视频的外观和运动。该方法在多个视频处理任务中表现出了高效性。

    Jun, 2024

  • 快速通用高斯投影立体视图重建

    MVSGaussian 是一种新的通用化的三维高斯表示方法，通过多视点立体视觉 (MVS) 有效重建未见过的场景，具有实时渲染速度和良好的综合质量。

    May, 2024

  • 通过三维高斯光斑重构视频增强视频编辑的时间一致性

    Video-3DGS 是一种基于 3D 高斯雾化技术改进的视频编辑器，旨在增强零痕编辑中的时间一致性，并通过在两个阶段利用三维高斯进行视频重构和编辑来展示其有效性。

    Jun, 2024

  • RetinaGS：使用十亿级三维高斯函数进行密集场景渲染的可扩展训练

    本研究探索了在大规模高分辨率数据集上训练高参数 3D 高斯喷溅（3DGS）模型的可能性，并设计了一种称为 RetinaGS 的通用模型并行训练方法，通过使用适当的渲染方程式可适用于任何场景和任意高斯图元分布，能够探索以前难于探索的 3DGS 的原始数量和训练分辨率的缩放行为以及超越以往最先进的重建质量，观察到使用我们的方法增加原始数量时视觉质量明显提高的积极趋势，同时我们还首次尝试在全矩阵城市数据集上训练了一个超过十亿个图元的 3DGS 模型，达到了有希望的视觉质量。

    Jun, 2024

  • 用于实时渲染超大数据集的分层三维高斯表示

    通过使用层次结构的三维高斯，本研究提出了一种在非常大的场景中保持视觉质量的方法，同时提供了有效的远程内容的适当级别选择和平滑过渡的有效细节解决方案。

    Jun, 2024

  • 通过时空数据过度拟合实现高质量、高效的视频超分辨率

    利用深度卷积神经网络，结合时空信息，通过数据导向联合训练技术，实现高质量高效实时的视频超分辨率提升，相比现有技术在流媒体视频分辨率提升任务中提高了 14 倍帧率同时提高 2.29dB 的画质。

    Mar, 2023

  • VastGaussian：大场景重建的巨大 3D 高斯

    VastGaussian 是基于 3D 高斯平面分割的大型场景重建和实时渲染的首个方法，通过渐进的分割策略和外观建模的优化过程，在多个大型场景数据集上实现了超出现有 NeRF 方法的最新成果，实现了快速优化和高保真实时渲染。

    Feb, 2024

  • 预训练、自训练、蒸馏：三维重建超强增强的简单配方

    本研究提出了一种统一的模型，用于针对数百个语义类别的单视图 3D 对象重建，并利用分割的图像集合来学习分类通用物体的 3D 形状，通过使用标准识别数据集的图像集进行评估，表明该方法使得对 150 个以上物体类别的 3D 推断成为可能。最终得到的 3D 重建模型还能够对未见物体类别的图像进行零样本推断，并且通过实验证明，增加训练类别的数量可以提高重建质量。

    Apr, 2022