Versatile video coding framework is proposed to learn compact representations for both human and machine vision, featuring a feature-based compression loop and cross-domain motion encoder/decoder, with evaluation results showing its compression efficiency on different video tasks with benchmark datasets.

Jun, 2023

通过使用两个主要操作：视频帧插值和压缩，IBVC（插值驱动的 B 帧视频压缩）引入了一种无比特率的双向运动估计与补偿方法，避免了光流量化和额外的压缩失真，通过自适应选择具有插值多尺度依赖的有意义的上下文，减少重复比特率的使用，并通过提出条件的时空解码器消除位置错误和伪影，相较于相关最先进方法，IBVC 在 B 帧编码方面取得了显著的改进，同时与 H.266（VTM）的随机访问（RA）配置相比，我们的方法能节省比特率。

Sep, 2023

我们提出了一种利用分层 B 帧编码的 NVC 模型，并结合时间层自适应优化的方法，该模型在给定基线模型的基础上获得了印象深刻的 BD 速率提升，解决了处理复杂或大动态序列带来的挑战。

Aug, 2023

本文提出了一种基于插值的 B 帧压缩方法，结合现有的 P 帧编码器使用，比传统方法具有更高的参考性且能节省达 28.5% 的比特率，适用于神经视频编解码器的设计。

Mar, 2021

本文提出了一种基于深度上下文视频压缩框架的条件编码方案，通过特征域上下文作为条件来利用高维的上下文，从而在视频质量更高的情况下实现大幅度的比特率节省。

Sep, 2021

本文提出了 AlphaVC 的压缩算法，采用了几种新的技术来有效地提高压缩性能，包括引入条件 I 帧、像素到特征的运动预测方法和基于概率的熵跳过方法。AlphaVC 在所有常见测试数据集上的 PSNR 和 MSSSIM 指标上均超过了最新的压缩标准 VVC，并且具有非常快的编码和解码速度。

Jul, 2022

本文提出了一种新的端到端学习的视频编码框架，将图像压缩通过条件编码进行泛化，允许处理同一编码器的帧内和帧间信息，并通过最小化速率失真成本进行训练，无需预训练或代理损失，其灵活性在三种编码配置下得到评估（全帧内、低延迟 P 和随机访问），并且表现出与 HEVC 视频编解码器一样具有竞争性的性能。

Apr, 2021

提出增强神经视频编解码器的上下文多样性，分别从时间和空间维度引入了层次质量模式、基于光流的编码框架以及四叉树分区以增加上下文多样性，实验结果表明，相比现有技术，该编解码器的比特率节省达到 23.5％，并在 PSNR 方面超越了传统编解码器 / ECM 的下一代。

Feb, 2023

通过提出几种新颖的方法，如专门用于机器学习的高效骨干网络和基于优化的流预测方案，我们的方法 ELF-VC 在视频压缩的低延迟模式下（只有 I 帧和 P 帧）具有更高的性能和更好的效率，与主流视频标准（如 H.264 、 H.265 、 AV1）和所有机器学习编解码器相比，在比特率范围内具有很好的 PSNR 、 MS-SSIM 、 VMAF 等指标，而且至少比所有机器学习编解码器都快 5 倍，并有更少的参数。

Apr, 2021

通过训练长序列帧、分层编码的速率分配和内容适应推理，在常见测试条件下，我们提出了一种用于随机存取的端到端学习视频编解码器，其在某些视频类别上取得了与 VVC 相当的 YUV-PSNR BD-Rate 结果，并在几乎所有测试集上优于 VVC，在 VMAF BD-Rate 方面超过了开源的低延迟和随机访问端到端解决方案的平均水平。

Jun, 2024