Mar, 2024

基于分层频率上采样和优化的压缩视频质量提升

PDF
TL;DR本研究提出了一种基于频率层次的上采样和优化神经网络（HFUR）来提高压缩视频质量，通过利用 DCT 域导出的先验信息进行无显式转换的频率上采样，并通过分层和迭代的优化提高最终输出的视觉质量。通过消融实验和可视化结果证明了所提出模块的有效性，并在公开基准测试集上进行了广泛实验，表明在恒定比特率和恒定 QP 模式下 HFUR 实现了最先进的性能。
video compression artifactsvideo quality enhancementupsamplingneural networkdct-domain loss
发现论文，激发创造
  • 高视觉保真度学习视频压缩

    通过设计自信度基于的特征重建方法和周期性补偿损失，本文提出了一种新颖的高视觉保真度学习视频压缩框架 (HVFVC)，以解决学习视频压缩中的重建问题和优化缺陷，实现了出色的感知质量，并仅需占最新 VVC 标准的 50% 比特率。

    Oct, 2023

  • 通过参考帧提案和频域信息提高视频压缩伪影减少的性能

    本文提出了一种有效的参考帧策略和一种基于 FFT 的损失方法，以提高已有多帧方法的性能，实验结果表明，我们的方法在 MFQE2.0 数据集上表现优异，赢得了 NTIRE 2021 质量提升重度压缩视频挑战赛的 Track 1 和 Track 2，并在 Track 3 中排名第二。

    May, 2021

  • 特征调制变换器：通过高频先验交叉精炼全局表示用于图像超分辨率

    我们研究了基于 transformer 的单图像超分辨率方法，并发现 transformer 结构在捕捉低频信息方面更加擅长，但相较于卷积模型在构建高频表示方面容量有限。我们提出的 CRAFT 方法综合了卷积和 transformer 结构的优势，在多个数据集上实验结果表明，CRAFT 方法在参数更少的情况下比当前最先进的方法提高了 0.29dB。

    Aug, 2023

  • UDHF2-Net：一种基于不确定性扩散模型的高频变换网络，用于遥感图像的高精度解释

    遥感图像高精度解释的不确定性扩散模型基于高频变换网络（UDHF2-Net）被提出来解决传统问题，通过引入空间平稳和非平稳频率特征的高频连接，基于掩膜与地理知识的不确定性扩散模块，以及半伪孪生 UDHF2-Net 的改进逐渐消除边缘噪声和配准误差，实验证明了 UDHF2-Net 的优势。

    Jun, 2024

  • 基于扩散模型的 HEVC 压缩视频质量增强方法

    提出了一种基于扩散模型的视频后处理方法，该方法首先估计压缩视频的特征向量，然后将估计的特征向量作为先验信息，自适应地提高具有不同量化参数的压缩视频的质量。实验证明，所提出的方法在混合数据集上的质量改进结果优于现有方法。

    Nov, 2023

  • HIFI-Net：一种用于增强水下图像的新型网络

    本文提出了一种新颖的网络，名为 HIFI-Net，用于增强水下图像，它包含一个基于强化融合单元（RFU）的 Haar 小波图像强化的强化融合模块（RFM-Haar），用于融合原始图像及其内部的重要信息，以获得更好的增强效果。实验结果表明，所提出的 HIFI-Net 在三个数据集上表现最佳，标准度量和新度量均有所提高。

    Jun, 2022

  • FISR：具有多尺度时间损失的深度联合帧插值和超分辨率

    本文提出了一个联合 VFI 和 SR 的框架，用于将 2K 30fps 的视频升级到 4K 60fps。其中，采用了一种新颖的训练方案，该方案使用多尺度时间损失对输入视频序列进行时间规范化，可以应用于任何一般的视频相关任务。通过大量实验对所提出的结构进行了深入研究。

    Dec, 2019

  • 分层质量与循环增强的视频压缩学习

    本文提出了一种分层学习视频压缩（HLVC）方法，其具有三个分层质量层和一种重复增强网络。我们通过一种图像压缩方法压缩第一层帧，并使用这些帧作为参考来压缩相对高质量的第二层。然后，使用提出的单运动深度压缩（SMDC）网络压缩具有最低质量的第三层。在我们的 HLVC 方法中，分层质量有助于编解码效率，并且最终结果在 PSNR 和 MS-SSIM 方面优于 x265 的 “低延迟 P（LDP）非常快” 模式。

    Mar, 2020

  • VQ-NeRF：向量量化增强隐式神经表征

    通过向量量化等方法，本文提出了一种名为 VQ-NeRF 的管线，以提高隐式神经表示的效果和效率，并通过多尺度采样和语义损失函数等方法来增强网络保留场景的细节和几何特征。在多个数据集上的评估结果表明，该方法在图像渲染质量和效率之间达到了最佳平衡，性能优于其他方法。

    Oct, 2023

  • HiNeRV：基于分层编码的神经表达的视频压缩

    本文介绍了一种基于 HiNeRV 的视频编解码器，该编解码器具有更高的容量和更好的性能，并通过训练、修剪和量化的精细管道来保持其在有损模型压缩中的性能。

    Jun, 2023