3R-INN:如何在消费 / 传递视频时实现环境友好?
本文介绍了一种基于率导向任意重缩放网络 (RARN) 的视频缩放算法,通过迭代优化编码器 (Transformer-based Virtual Codec, TVC) 和 RARN 结构,在不同编码配置和分辨率下实现了 5%-29%BD-Rate 降低,超过了以前的方法。此外,本算法结构轻便,能够以实时速度处理 FHD(1080p)内容并获得相当的费率降低。
Jun, 2023
通过可逆神经网络,我们提出了 INN-RSIC 方法,用于解码远程感应图像并实现高感知质量,在低比特率下尤为重要。我们采用现有图像压缩算法捕捉压缩失真,并通过 INN 将其编码为一组高斯分布的潜在变量,使解码图像中的压缩失真与真实图像无关。因此,通过利用 INN 的逆映射,我们可以将解码图像以及一组随机重采样的高斯分布变量输入到逆网络中,有效生成感知质量更好的增强图像。我们通过引入量化模块(QM)来缓解格式转换的影响,从而提高框架的泛化能力和增强图像的感知质量。广泛的实验表明,我们的 INN-RSIC 在感知质量方面明显优于现有的传统和基于深度学习的图像压缩方法。
May, 2024
通过隐式 - 显式混合编码和多层特征网格嵌入,我们提出了一种用于多视点视频压缩的方法,实验证明该方法在视点压缩和场景建模方面取得了与最新的多视点视频压缩标准 MIV 和其他基于隐式神经表示的方案相当甚至更好的性能。
Nov, 2023
通过引入新的混合自回归模型(MARM)和综合网络来显著减少当前 INR 编解码器的解码时间,并提高重建质量,该方法在保持图片质量的同时显著提高计算效率。
Jan, 2024
本论文提出了可逆图像转换网络 (IICNet),采用可逆神经网络 (INNs) 结构,内含关系模块和通道压缩层,可成为不同 Reversible image conversion 任务的通用解决方案,可提取跨图像关系的非线性性和网络的灵活性,相较于之前的方法表现更优,同时在各种新探索任务中具有良好的泛化性能,是一种有效的可逆图像转换算法。
Sep, 2021
该论文提出了一种名为 UrbanIR 的模型,可以从视频中反演出场景的形状、亮度、可见度和光照等属性,从而实现真实感观影,其利用了一种新的损失函数来控制渲染的伪影问题,并且获得了比其他方法更好的阴影体积估计。
Jun, 2023
本文提出了一种基于可逆神经网络(INNs)的 Invertible Encoding Network 方法来构建更好的图像空间和潜在特征空间之间的转换,并在 Kodak、CLIC 和 Tecnick 数据集上证明了该方法在高分辨率图像方面优于现有的学习图像压缩方法和压缩标准(包括 VVC (VTM 12.1))的实验结果。
Aug, 2021
该研究提出了一种新的神经表示框架 D-NeRV,旨在以更高效的方式对长时间或大量的不同内容的视频进行编码。使用这种方法,该方法的压缩结果大大超过了现有的 NeRV 和传统视频压缩技术,同时在相同的压缩率下,其在 UCF101 数据集上用作高效数据加载器时的准确度比 NeRV 提高了 3 至 10%。
Mar, 2023
通过增量学习范式,结合基础模型和逐帧模型差异调节策略,采用窄带技术和基于模型差异的压缩方法,实现高效的流式辐射场实时渲染,训练时间为每帧 15 秒,性能比其它隐式方法快 1000 倍。
Oct, 2022
通过引入神经代表视频的 NeRV++,作为 NeRV 解码器架构的一种增强改进方法,使用可分离卷积残差块(SCRBs)和双线性插值跳跃层等特性,大幅提高了 INR-based 视频编解码的效果和表示能力,实现了与自动编码器基于视频编码相竞争的结果,迈向了 INR-based 视频压缩研究的重大进展。
Feb, 2024