通过模型压缩进行神经三维场景压缩
这篇论文介绍了一种新的混合压缩算法,用于视觉定位,能够在不增加存储要求的情况下获得更完整的场景表示,并且在相同的内存限制下比以前的压缩技术具有更高的姿态准确性。
Jul, 2018
该论文提出了一种新的神经渲染方法,能够将动态环境分解成场景图,通过隐式编码学习场景的变换和辐射度,并能够渲染未见过的物体、位置的各种动态场景,达到了高度逼真的效果。
Nov, 2020
该论文提出了一种针对基于网格的 NeRF 模型的效率压缩方法,使用非线性变换编码范式和神经压缩对模型的特征网格进行压缩,引入重要性加权的失真率目标和利用掩蔽机制的稀疏熵模型以利用潜在特征网格的空间不均匀性,实验证明该方法在基于网格的 NeRF 压缩效率和重建质量方面优于现有工作。
Jun, 2024
本文提出了一种使用压缩方法从紧凑的角度追求较小体积的神经辐射场的简单而有效的框架,该方法利用网格模型固有的代表特性,开发了非一致压缩方法以显着减少模型复杂性,并引入了名为 “神经码书” 的新颖参数化模块,通过快速优化来更好地编码每个场景模型的高频细节,从而实现对网格模型存储量的超过 40 倍的减少,在具有竞争性的渲染质量和 180 fps 的实时渲染速度的同时,相对于实时渲染方法而言具有存储成本的显著优势。
May, 2023
我们提出了一种新的无损校准的 3D 至 2D 转换方法,使压缩算法能够高效利用二维表示中的空间相关性,通过常见的图像压缩方法和利用递归神经网络的自监督深度压缩方法对结构化表示进行压缩,还对 LiDAR 的强度测量值进行密集二维表示,并提出了一种评估压缩性能的新指标。与基于通用八叉树点云压缩或基于原始点云数据压缩的方法相比,我们的方法在定量和视觉性能上取得了最佳效果。
Feb, 2024
提出了一种新的 3D 视频合成方法,使用神经辐射场表示动态实景,并使用一种紧凑的表现方式,能够高质量地合成视图和插值运动,其动态场景建模方法在视角合成和动态场景表示方面都表现良好。
Mar, 2021
通过使用非线性转换、量化和熵编码实现记忆高效的场景表示,我们提出了 NeRFCodec ,这是一个端到端的 NeRF 压缩框架,它利用预训练的神经 2D 图像编解码器对特征进行压缩,从而使得我们能在 0.5 MB 的内存预算下实现高质量的新视角合成。
Apr, 2024
本文提出了一种从 2D 视觉观察中学习动态 3D 场景模型的方法,结合神经放射场、时间对比学习和自动编码框架,可以学习到视点不变的 3D 感知场景表示,进而实现包括刚体和流体在内的具有挑战性的操作任务的视觉运动控制和未来预测,并支持摄影机视点外训练分布的目标规定,此外,还对不同系统设计进行了详细的改变研究和学习的表示的定性分析。
Jul, 2021
本研究利用迄今为止最新的神经辐射场技术,通过引入物体场组件从 2D 视野中学习 3D 空间中所有个体物体的独特代码,并引入反向查询算法以自由地操作学习场景表示中特定的 3D 物体形状,进而解决物体碰撞和视觉遮挡等关键问题,能够准确地从 2D 视野中分解和操作 3D 场景的研究方法被称为 DM-NeRF。
Aug, 2022