Jun, 2024

通过时间组对齐和融合的压缩视频质量提升

PDF
TL;DR本论文提出了一种时序群组对齐和融合网络，通过利用帧之间的长短期相关性来提高压缩视频的质量。该网络包括内部组特征对齐模块、外部组特征融合模块和特征增强模块，通过选择与目标增强帧的时间距离来组成图片组，从而使图片组能够包含邻近帧的长期或短期相关信息。该方法在实验结果中显示相较于现有技术方法，提高了 0.05dB 并降低了复杂度。
temporal group alignmentcompressed videosfeature alignmentfeature fusionhigh-quality video frames
发现论文，激发创造
  • 基于时间组注意力的视频超分辨率

    本文提出了一种新颖的视频超分辨率方法，利用分层式的时间信息和注意力机制，在处理大幅运动的视频中具有较好的性能表现。

    Jul, 2020

  • 逐步特征融合网络用于提升图像质量评估

    本论文提出了一种新的图像质量评估框架，采用细粒度网络获取多尺度特征，并设计一种交叉减法块用于在正负图像对内分离和收集信息，从而实现特征空间中的图像比较。实验结果表明，相比目前主流的图像质量评估方法，该网络可以实现更准确的图像质量评估，并在 CLIC 的图像感知模型赛道中排名第二。

    Jan, 2024

  • 基于时空变换器的视频压缩框架

    空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明，该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。

    Sep, 2023

  • STF：时空融合模块提升视频目标检测

    通过利用视频中连续帧的冗余和相关的互补信息，我们提出了一个时空融合框架，其中包括多帧和单帧关注模块，以及可学习地合并特征图以改进物体检测性能的双帧融合模块。实验证明，该融合模块相比基线物体检测器能够提高检测性能。

    Feb, 2024

  • MFQE 2.0: 一种新的压缩视频多帧质量增强方法

    本文介绍一种 Multi-Frame Quality Enhancement 的方法，采用 Bidirectional Long Short-Term Memory 去定位 Peak Quality Frames，并设计了一种 Convolutional Neural Network 去提高视频质量。

    Feb, 2019

  • 渐进式时间特征对齐网络用于视频修复

    该研究提出一种基于渐进式时间特征对齐网络的视觉修复方法，通过充分利用光流信号从相邻的视频帧中提取特征来消除时空对齐中的问题，实现了对视频内容的自然修复和优化，进而在多个数据集上获得了目前的最佳表现。

    Apr, 2021

  • 基于空间分解和时间融合的基于学习的视频压缩的帧间预测

    本文提出了基于空间分解和时间融合的学习视频压缩的帧间预测方法，通过处理运动不一致性和遮挡现象，结合长短时时间上下文融合，提高了视频压缩的帧间预测准确性。实验证明，所提出的编码器在所有常见测试数据集上的 PSNR 和 MS-SSIM 上优于 H.266 / VVC 的参考软件。

    Jan, 2024

  • 压缩视频的多帧质量增强

    本研究提出了一种通过多帧卷积神经网络对视频进行质量增强的方法，利用支持向量机检测出压缩视频中峰值质量帧并结合运动补偿子网络和质量增强子网络来提高视频的压缩质量。

    Mar, 2018

  • 先于视觉感知：一种压缩视频时序句子对齐的有效管道

    本研究针对压缩视频展开了时间句子引导的任务，并提出了一种全新的三分支压缩域空时融合框架（TCSF）来提取和聚合低级视觉特征以有效地进行时间句子引导。实验结果表明，TCSF 较其他最先进的方法具有更好的性能，并具有更低的复杂度。

    Mar, 2023

  • G4G: 高保真细粒度语音人脸生成的通用框架

    通过使用对角矩阵增强音频 - 图像内模态特征的普通对齐，引入多尺度监督模块以全面重演原始视频的感知保真度，强调嘴唇运动与输入音频的同步，然后使用融合网络进一步融合面部区域和其他部分，G4G 是一个突出的通用框架，可以以近乎真实水平竞争性地生成说话视频。

    Feb, 2024