神经残余流场用于高效视频表征
本文提出了一种名为 Residual Radiance Field (ReRF) 的新技术,用于高效压缩长时间动态场景的实时自由视点视频渲染,借助全局坐标小型 MLP 作为特征解码器。通过使用紧凑的运动网格以及残差特征网格来利用帧间特征相似性,我们表明这样的策略可以处理大运动而不降低质量,并且提供了一个特殊的 FVV 编解码器和一个 ReRF 播放器,支持在线流式传输长时间动态场景的 FVVs,并通过大量实验展示了 ReRF 在动态辐射场紧凑表示方面的有效性。
Apr, 2023
我们提出了混合神经流体场(HyFluid)的神经方法,用于联合推断流体密度和速度场,以解决流体速度的视觉模糊性和湍流性所带来的挑战,并展示了该方法在恢复涡旋流细节方面的成功,为涉及三维不可压缩流体的各种学习和重建应用打开了可能性。
Dec, 2023
提出了一种使用神经场地理概念表示动态场景,并利用单目视频生成新视角和时间合成的方法。通过神经网络优化新的场景流场来适应观测输入视角,并在复杂动态场景中表现出较好的性能。
Nov, 2020
提出了一种将时间残差层引入神经场的有效方法,用于表示复杂的时间信号,通过降低可训练参数数量和增强泛化能力的矩阵分解技术,实现了对 2D 视频逼近、通过时间 SDFs 进行动态形状建模和动态 NeRF 重建等各种具有挑战性任务中结果的稳定提升,并通过展示其在轻量级捕获系统的稀疏传感输入中捕获动态 3D 场景的实际效果证明了 ResFields 的实用性。
Sep, 2023
用于动态逆问题的图像重建:高度欠采样数据的图像重建是一个重大挑战,现有的变分方法和神经场方法被应用于改善图像质量并引入时间正则化,本文研究并展示了在 2D + 时间计算机断层扫描中引入显式的基于偏微分方程的运动正则化的好处,并比较了神经场与基于网格求解器的性能差异。
Jun, 2024
提出了可流式传输的神经场模型,通过可执行的各种宽度的子网络,可以重构不同品质和部分信号,例如,较小的子网络产生平缓和低频信号,而较大的子网络可以表示细节,实验结果表明,该方法有效地应用于 2D 图像,视频和 3D 信号。同时,该方法还利用参数共享来提高训练稳定性。
Jul, 2022
该研究提出了一种基于神经网络的方法以实现视频压缩,通过隐式的神经网络表示每一帧的像素点来实现基于运动补偿的压缩,并利用学习的整数量化降低比特率。此方法称为隐式像素流(IPF)。
Dec, 2021
本文提出了一种方法,通过利用流体的 Navier-Stokes 方程作为答案进行稀疏视频的端到端优化,实现通过 RGB 视频的高保真流体重构。
Jun, 2022
我们提出了一种视频分解方法,可以对具有时空变化照明和运动效果的视频进行基于层次的编辑。我们的神经模型将输入视频分解为多个分层表示,其中包括 2D 纹理贴图、原始视频的掩码以及表征光照条件时空变化的乘法残差。通过对纹理贴图进行单个编辑,可以在整个视频帧的对应位置传播并保持其他内容的一致性。通过坐标哈希,我们的方法可以以每帧 25 秒的速度高效学习 1080p 视频的基于层次的神经表示,并在单个 GPU 上以 71 帧每秒的速度实时渲染编辑结果。在定性方面,我们运行该方法在各种视频上展示其生成高质量编辑效果的有效性。在定量方面,我们提出采用特征跟踪评估指标来客观评估视频编辑的一致性。
Sep, 2023
通过低位量化的新视角以及引入时间依赖性,本文提出了一种视频网络的新的量化方案 Residual Quantization(ResQ),以降低冗余计算并提高准确性和比特位宽。此外,还通过动态调整比特位宽来适应视频中的变化,通过在语义分割和人体姿势估计基准上的实验证明该方法优于标准量化和现有高效视频感知模型。
Aug, 2023