Sep, 2023

IBVC: 基于插值的 B 帧视频压缩

PDF
TL;DR通过使用两个主要操作：视频帧插值和压缩，IBVC（插值驱动的 B 帧视频压缩）引入了一种无比特率的双向运动估计与补偿方法，避免了光流量化和额外的压缩失真，通过自适应选择具有插值多尺度依赖的有意义的上下文，减少重复比特率的使用，并通过提出条件的时空解码器消除位置错误和伪影，相较于相关最先进方法，IBVC 在 B 帧编码方面取得了显著的改进，同时与 H.266（VTM）的随机访问（RA）配置相比，我们的方法能节省比特率。
learned b-frame video compressionmotion estimationmotion compensationvideo frame interpolationbit-rate reduction
发现论文，激发创造
  • 具有时间分层自适应分层 B 帧编码的神经视频压缩

    我们提出了一种利用分层 B 帧编码的 NVC 模型，并结合时间层自适应优化的方法，该模型在给定基线模型的基础上获得了印象深刻的 BD 速率提升，解决了处理复杂或大动态序列带来的挑战。

    Aug, 2023

  • UCVC: 一种统一的上下文视频压缩框架，具有联合 P 帧和 B 帧编码

    通过提出统一的上下文视频压缩框架（UCVC），本研究针对学习图像压缩的第六届挑战（CLIC）视频压缩赛道，在 DCC 2024 中呈现了一种学习视频压缩方法，能够同时进行 P 帧和 B 帧编码，通过联合优化模型参数使得该框架可以支持 P 帧和 B 帧编码，实现与专门为 P 帧或 B 帧设计的压缩效率相媲美；在挑战提交中，我们报告了通过为每个测试序列选择适当的帧类型获得的最佳压缩效率，我们的团队名为 PKUSZ-LVC。

    Feb, 2024

  • 具有运动精炼和逐帧比特分配的灵活学习分层双向视频压缩

    本文介绍了改进和创新改进的内容，提出了一种优化的分层双向视频压缩技术，结合运动估计和预测模块，压缩出改进的残差运动矢量，同时应用了图像压缩中提出的增益单元进行灵活速率视频压缩，该压缩技术具备真正的灵活性并且能够以多个速率 - 失真操作点进行操作。我们展示实验结果证实，该方法能够取得学习视频编码方面先前所有的艺术表现之上，具备最先进的速率失真性能。

    Jun, 2022

  • 端到端速率失真优化的学习式分层双向视频压缩

    本研究提出了一种基于学习的分层双向视频编解码器，结合分层运动预测和端到端优化，实现了目前为止在 PSNR 和 MS-SSIM 上报告的学习视频压缩方案的最佳 R-D 结果，相对于传统视频编解码器，在 PSNR 和 MS-SSIM 以及 HM16.23 参考软件的 MS-SSIM 上性能均优于 x265 和 SVT-HEVC 编码器的 R-D 性能。

    Dec, 2021

  • AlphaVC：高性能和高效的学习型视频压缩

    本文提出了 AlphaVC 的压缩算法，采用了几种新的技术来有效地提高压缩性能，包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC，并且具有非常快的编码和解码速度。

    Jul, 2022

  • 基于块运动矢量插值的视频快速语义分割

    提出一种新的基于压缩视频中存在的块运动矢量的特征传播方法，从静态关键帧双向熔合特征到中间视频帧，以达到实时分割并保持较高的准确性。

    Oct, 2018

  • 多尺度可形变对齐和内容自适应推断用于灵活速率双向视频压缩

    本文提出了一种自适应运动补偿模型，通过多尺度形变对齐方案与多尺度条件编码结合，在运动内容自适应推理的基础上利用增益单元控制位分配，达到了学习视频编码的超越前沿水平的性能。

    Jun, 2023

  • 使用密集查询双边相关性的视频帧插值

    本文提出了一种去除视场依赖性问题的密集查询双边相关 (DQBC) 算法来更好地建模相关性并生成更准确的运动场，该算法比现有技术更准确并具有较少的推理时间。

    Apr, 2023

  • 长视频序列的分层 B 帧视频编码

    通过训练长序列帧、分层编码的速率分配和内容适应推理，在常见测试条件下，我们提出了一种用于随机存取的端到端学习视频编解码器，其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果，并在几乎所有测试集上优于 VVC，在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。

    Jun, 2024

  • ELF-VC: 高效学习的可灵活调节码率视频编码

    通过提出几种新颖的方法，如专门用于机器学习的高效骨干网络和基于优化的流预测方案，我们的方法 ELF-VC 在视频压缩的低延迟模式下（只有 I 帧和 P 帧）具有更高的性能和更好的效率，与主流视频标准（如 H.264 、 H.265 、 AV1）和所有机器学习编解码器相比，在比特率范围内具有很好的 PSNR 、 MS-SSIM 、 VMAF 等指标，而且至少比所有机器学习编解码器都快 5 倍，并有更少的参数。

    Apr, 2021