Apr, 2024

端到端率失真优化的三维高斯表示

PDF
TL;DR该研究提出了 RDO-Gaussian 方法，采用紧凑的 3D 高斯学习作为端到端速率失真优化问题，通过引入动态修剪和熵约束矢量量化来优化速率和失真，从而显著减小 3D 高斯体的大小超过 40 倍，并在速率失真性能上超越了现有方法。
3d gaussian splattingimage renderingend-to-end rate-distortion optimizationdynamic pruningentropy-constrained vector quantization
发现论文，激发创造
  • 基于 GAN 的图像压缩及改进的 RDO 处理

    本文提出了一种改进型的 GAN 图像压缩方法，通过使用 DISTS 和 MS-SSIM 指标对颜色、纹理和结构的感知退化度量以及吸收离散化的高斯 - 拉普拉斯 - 逻辑混合模型（GLLMM）来改善熵模型的准确性，并采用 MOS 实验直接评估重构图像的感知质量，实验结果表明该方法优于现有的 GAN 方法和 VVC 等最先进的混合编解码器。

    Jun, 2023

  • 应用有限资源的高质量辐射场调节 3D 图形引擎

    通过在有限预算内进行训练和渲染，提出了一种改进的 3D 高斯粉碎（3DGS）模型，实现了较快速、高质量的新视图合成，并减少了模型大小和训练时间。

    Jun, 2024

  • 紧凑的三维高斯辐射场表示

    通过学习性的掩码策略和向量量化，我们减少了高斯点的数量和占用的存储空间，实现了高性能、快速训练、紧凑且实时的渲染，提供了一个全面的三维场景表示框架。

    Nov, 2023

  • 优化的三维高斯表示用于高质量动态场景重建

    使用变形的多层感知器（MLP）网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征，引入可学习的去噪掩模结合去噪损失以从场景中消除噪点，通过静态约束和运动一致性约束减轻点的运动噪声，实验证明我们的方法在渲染质量和速度上超过了现有方法，同时显著减少了与 3D-GS 相关的内存使用，非常适用于新的视角合成和动态建图等任务。

    May, 2024

  • 使用深度学习的并行速率失真优化量化

    通过基于神经网络的方法来实现速率 - 失真优化量化 (RDOQ), 用于视频压缩标准 HEVC 中的后量化步骤中，使其在实时硬件编码器中的执行开销降低。该方法在 HM 16.20 中的实现，比起标量量化方法能够获得更好的性能表现，同时在光度方面实现了 1.64% BD-rate 的节省，是一个可行的代替 RDOQ 算法的解决方案。

    Dec, 2020

  • SRGS：超分辨率 3D 高斯喷撒

    提出了 Super-Resolution 3D Gaussian Splatting (SRGS) 方法，通过在高分辨率空间中进行优化，引入亚像素约束并与预训练的 2D 超分辨率模型集成，以有效增强原语的表示能力。在 HRNVS 方面实现高质量渲染，优于 Mip-NeRF 360 和 Tanks ＆ Temples 等挑战性数据集上的现有方法。

    Apr, 2024

  • 高效加速的轻量级编码的三维高斯模型

    使用量化嵌入技术和粗到精的训练策略，大幅降低内存存储需求，实现了高分辨率场景的实时渲染和更快更稳定的高斯点云优化，减少了记忆存储量并保持重建质量，验证表明效果显著。

    Dec, 2023

  • 3D-HGS: 三维半高斯飘带

    基于神经渲染技术，本研究提出了一种使用 3D Half-Gaussian 核的方法，以改进当前 3D Gaussian splatting 方法的性能，在不影响渲染速度的情况下，在多个数据集上获得了最先进的渲染性能。

    Jun, 2024

  • RaDe-GS：高斯投影深度

    高斯飞溅在新视角合成方面已被证明具有很高的效果，但对于重建细节丰富的 3D 形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用 3D 高斯飞溅的深度图和表面法线图，大大提高了形状重建的准确性，并保持高斯飞溅的计算效率。该方法在 DTU 数据集上达到与 NeuraLangelo 相当的 Chamfer 距离误差，并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展，可以直接集成到现有的基于高斯飞溅的方法中。

    Jun, 2024

  • F-3DGS: 三维高斯点云投影的分解坐标和表示

    通过矩阵和张量分解技术，我们提出了一种新方法，即因式化三维高斯粒子点描（F-3DGS），通过高效的因式化，大大减少了存储需求，同时保持了渲染图像的质量。

    May, 2024