基于预测的广义图傅里叶变换在动态点云属性压缩中的应用
我们通过一种体积方法研究了三维点云属性的压缩:假设点云几何在编码器和解码器都已知,连续属性函数的参数 θ 被量化为 ḣ θ 并进行编码,以便可以在解码器上以已知的三维点 xᵢ 恢复离散样本 fₕₑₐₜ θ (xᵢ)。具体而言,我们考虑一个嵌套函数子空间序列 F⁽ᵖ⁾ₗ₀ ⊆ ⋯ ⊆ F⁽ᵖ⁾ₗ,其中 F⁽ᵖ⁾ₗ是由 p 阶 B - 样条基函数张成的函数族,fₗˡ⁻ ᵢ * 是 f 在 F⁽ᵖ⁾ₗ 上的投影,并编码为低通系数 Fˡ⁻ ᵢ *,gₗˡ⁻ ᵢ * 是正交子空间 G⁽ᵖ⁾ₗ 上的残差函数(其中 G⁽ᵖ⁾ₗ ⊕ F⁽ᵖ⁾ₗ = F⁽ᵖ⁾ₗ₊₁),并编码为高通系数 Gˡ⁻ ᵢ *。本文中,为了在 p=1 情况(RAHT (1))上提高编码性能,我们研究了在 l 水平上用 l+1 水平的 fˡ⁺ ᵢ * 预测 fₗˡ⁻ ᵢ * 以及 Gˡ⁻ ᵢ * 的编码。在预测方面,我们在 MPEG-PCC 中理论框架下形式化了 RAHT (1) 的线性预测,并提出了一个使用双边滤波器多项式的非线性预测器。我们推导了计算可编码的临界采样高通系数 Gˡ⁻ ᵢ * 的方程。通过最小化速率失真拉格朗日量在大型点云训练集上优化我们的前馈网络的参数。实验结果表明,我们改进的框架比 MPEG G-PCC 预测器在比特率降低方面提高了 11% 到 12%。
Nov, 2023
本篇论文介绍了基于学习的卷积变换和均匀量化的静态点云数据几何压缩方法,并将解码过程视为点云占用图的二元分类。该方法在 Microsoft Voxelized Upper Bodies 数据集上表现优异,平均 BDBR 节省率达 51.5%,且能够在低比特率下仍产生高分辨率的输出。
Mar, 2019
通过使用体积法进行 3D 点云属性压缩,本研究介绍了一种新的前馈线性网络方法 ——B 样条基的非特征值分解实现,利用空间变化的卷积和编码器中表示矩阵逆泰勒级数的项的数目等因素,能够在真实的 3D 点云场景下,具有比区域自适应分层变换(RAHT)更好的能量压缩效果,并能减少 20-30% 的比特率。
Apr, 2023
本论文介绍了一个能够处理几何和属性组件的点云压缩框架,利用两个基于坐标的神经网络来隐式表示体素化的点云,通过将空间划分为小的立方体并专注于非空立方体内的体素来重建原始点云的几何和属性组件。实验结果表明,与最新的 G-PCC 标准中采用的八叉树方法相比,我们提出的方法具有更优越的性能,并且与现有的基于学习的技术相比具有高度的普适性。
May, 2024
本研究提出了一种新的方法,使用特定设计的图卷积网络以及结合动态边卷积和图注意力网络,实现对经过重压缩的 3D 视频点云数据的提升和恢复,同时通过更少的参数达到可比较的重建质量,适用于例如自动驾驶中使用的 LiDAR 等边缘计算设备。
Jun, 2023
本文提出了一系列改进点云压缩的方法,包括使用尺度先验模型进行熵编码、采用更深的变换、不同的 focal loss 权重、最优解码阈值和连续模型训练,并通过实验验证这些方法可以带来较好的 BD-PSNR 提升。
Jun, 2020
在这篇论文中,我们提出了 PoLoPCAC,一种高效且通用的无损点云属性压缩方法,它在高压缩效率和强大的泛化能力方面取得了平衡。我们通过将无损 PCAC 建模为从群组先验中推断属性的显式分布的任务来实现压缩。我们的方法直接在点上操作,可以自然地避免由于体素化而引起的扭曲,并且可以在任意尺度和密度的点云上执行。实验证明,我们的方法在各种数据集上(ShapeNet、ScanNet、MVUB、8iVFB)比最新的 G-PCCv23 具有持续的比特率降低,并且比 G-PCCv23 在大多数序列上具有更短的编码时间和轻量级模型尺寸(2.6MB),这对于实际应用非常有吸引力。
Apr, 2024
我们提出了一种点云压缩方案,通过生成可直接解码为可渲染的 3D 高斯图像的比特流来解决从有损压缩的点云中解码和渲染高质量图像的问题。该方案显著提高了渲染质量,同时大幅度降低了解码和渲染时间,相比现有的点云压缩方法。此外,该方案生成可扩展的比特流,允许在不同比特率范围内的多个细节级别。我们的方法支持实时颜色解码和高质量点云的渲染,为具有自由视角的交互式 3D 流媒体应用铺平了道路。
Jun, 2024