跨平台应用的实时神经视频编解码器的研究基于校准信息
该研究提出了第一个在移动设备上实时解码 1080p YUV420 视频的神经视频编解码器,它利用基于块的运动补偿算法实现了高效编解码,并通过在神经信号处理器上同时运行神经网络组件、在移动 GPU 上运行并行熵编码以及在加速器的变换核上实现变换,从而在性能上显著超过之前的设备上编解码器。
Oct, 2023
在交叉平台的视频压缩中,提出了一个基于码本的视频压缩框架,避免了自回归熵建模,并通过传输码本的索引序列来实现视频压缩,在不包含任何分布估计模块的情况下,兼顾了计算效率和跨平台性能。
Oct, 2023
基于实时深度学习的 H.264 控制器通过动态估算最优的编码器参数来维持视频质量,并在最小化压缩视频的平均比特率的同时实现高达 2.5 倍的带宽使用改善,且非符合概率低于 10^-2。
Nov, 2023
提出了一种实时基于深度学习的 H.264 控制器,利用即时的信道质量数据和视频块动态估计最优的编码器参数,以保持编码视频的比特率略低于可用信道比特率,验证了该方法在视频质量上相较于最先进的自适应比特率视频流媒体有 10-20 dB 的改进,平均数据包丢失率低至 0.002。
Sep, 2023
通过特征调制,我们提出了一种强大的条件编码神经视频编解码器(NVC),解决了两个关键问题:如何在单一模型中支持宽范围的质量,并使 NVC 在长预测链下仍然有效。此外,我们设计了一个支持 RGB 和 YUV 颜色空间的单一模型。
Feb, 2024
通过我们的速率 - 失真计算(RDC)研究,我们展示了虽然浮点运算(FLOPs)和运行时间对于准确地比较神经压缩方法都是不足够的,但我们还是找到了一种新型神经压缩架构,其在计算要求和 RD 性能之间具有最佳的实证权衡。
Sep, 2023
我们提出了一种 ML-based 的视频编码算法,通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现,在低延迟模式下相对于 HEVC/H.265, AVC/H.264 和 VP9,我们的算法通常产生更小的代码。并且,我们的方法不会出现图块失真和像素化,可以产生更加视觉上令人愉悦的视频。
Nov, 2018
移动设备上的视频流媒体体验优化是一个挑战,本文提出了一种基于深度学习的实时增强方法,包括视频帧恢复、超分辨率算法和接收端增强感知的视频比特率自适应算法,评估结果显示该方法能够提高视频流媒体系统的实时增强效果,并显著提高 24% 至 82% 的视频体验质量。
Jul, 2023
该论文提出了一种用于实际任务的神经网络结构,用于图像识别,它通过减少参数的数量,使用固定点算术,将权重存储在块、移位寄存器和可调卷积块中,并提供适应现有数据集以解决不同任务的方法,可以在廉价 FPGA 上实现实时视频处理。
Aug, 2018
本文提出了一种基于深度神经网络编码的新方法。通过利用多尺度的运动补偿网络进行大范围运动的估计和补偿,同时采用自适应空时上下文模型进行高效熵编码,采用非局部注意力模块进行特征聚合和激活,通过对多模块的优化和多帧训练策略进行时间误差的最小化,最后将其与其他方法进行比较,证明了在流行的测试序列中,在 PSNR 和 MS-SSIM 失真度量方面均取得了一致的优异性能。
Jul, 2020