使用双层CANF进行分层B帧视频编码,无需运动编码
我们提出了一种ML-based的视频编码算法,通过评估不同分辨率和基于商业编解码器的标准视频压缩测试集发现,在低延迟模式下相对于HEVC/H.265, AVC/H.264和VP9,我们的算法通常产生更小的代码。并且,我们的方法不会出现图块失真和像素化,可以产生更加视觉上令人愉悦的视频。
Nov, 2018
本文提出了一种基于深度学习模型的视频压缩方法,其中利用神经网络的非线性表征能力和学习基于光流估计获取运动信息并重构当前帧的方法,同时采用两个auto-encoder风格的神经网络来压缩相应的运动和残差信息以共同优化所有组件,并通过单一损失函数来一起考虑减少压缩比特数和提高解码视频质量之间的权衡,实验证明该方法在PSNR方面优于广泛使用的H.264视频编码标准,在MS-SSIM方面甚至与最新的标准H.265相当。
Nov, 2018
本文提出了一种分层学习视频压缩(HLVC)方法,其具有三个分层质量层和一种重复增强网络。我们通过一种图像压缩方法压缩第一层帧,并使用这些帧作为参考来压缩相对高质量的第二层。然后,使用提出的单运动深度压缩(SMDC)网络压缩具有最低质量的第三层。在我们的HLVC方法中,分层质量有助于编解码效率,并且最终结果在PSNR和MS-SSIM方面优于x265的“低延迟P(LDP)非常快”模式。
Mar, 2020
本文提出了一种通过建模帧之间的条件熵来进行视频压缩的方法,与以往的学习方法不同,我们假设每个帧都使用一个独立的先进深度图像压缩器进行编码。我们的方法在保证解码速度的前提下,在高比特率的UVG视频中优于H.265和其他深度学习基线,在低帧率下优于所有视频编解码器,同时比使用自回归熵模型的深度模型解码速度快数千倍。
Aug, 2020
本研究提出了一种基于学习的分层双向视频编解码器,结合分层运动预测和端到端优化,实现了目前为止在 PSNR 和 MS-SSIM 上报告的学习视频压缩方案的最佳 R-D 结果,相对于传统视频编解码器,在 PSNR 和 MS-SSIM 以及 HM16.23参考软件的 MS-SSIM 上性能均优于x265和SVT-HEVC编码器的 R-D 性能。
Dec, 2021
本文介绍了改进和创新改进的内容,提出了一种优化的分层双向视频压缩技术,结合运动估计和预测模块,压缩出改进的残差运动矢量,同时应用了图像压缩中提出的增益单元进行灵活速率视频压缩,该压缩技术具备真正的灵活性并且能够以多个速率-失真操作点进行操作。我们展示实验结果证实,该方法能够取得学习视频编码方面先前所有的艺术表现之上,具备最先进的速率失真性能。
Jun, 2022
本文提出了一种基于条件增强型正则化流(CANF)的端到端学习视频压缩系统CANF-VC,该系统使用了深度生成模型等创新技术,实现了条件帧间编码的视频生成模型及运动编码,实验结果表明CANF-VC比现有的最先进方法更优秀。
Jul, 2022
本文旨在提出一种创新的概念,将分层潜空间应用于增强式归一化流,建立可逆的潜变量模型,以解决许多学习型图像压缩方法的非可逆性问题。经过实验表明,本模型相较于单尺度模型,平均压缩率提高了7%以上。
May, 2023
我们提出了一种利用分层B帧编码的NVC模型,并结合时间层自适应优化的方法,该模型在给定基线模型的基础上获得了印象深刻的BD速率提升,解决了处理复杂或大动态序列带来的挑战。
Aug, 2023
通过使用两个主要操作:视频帧插值和压缩,IBVC(插值驱动的B帧视频压缩)引入了一种无比特率的双向运动估计与补偿方法,避免了光流量化和额外的压缩失真,通过自适应选择具有插值多尺度依赖的有意义的上下文,减少重复比特率的使用,并通过提出条件的时空解码器消除位置错误和伪影,相较于相关最先进方法,IBVC在B帧编码方面取得了显著的改进,同时与H.266(VTM)的随机访问(RA)配置相比,我们的方法能节省比特率。
Sep, 2023