Nov, 2023

空时查询表进行在线视频质量增强

PDF
TL;DR本文提出了一种新的方法 STLVQE，旨在解决在线视频质量增强问题。我们的 STLVQE 设计了一个新的 VQE 框架，其中包含一个模块不可知特征提取器，大大减少了冗余计算，并重新设计了网络的传播、对齐和增强模块。我们提出了一种空间 - 时域查找表（STL），它在视频中提取了空间 - 时域信息，同时节省了大量推理时间。在 MFQE 2.0 数据集上进行的广泛实验证明，我们的 STLVQE 在性能和速度上取得了令人满意的平衡。
low latency ratesonline video-based applicationsvideo quality enhancementstlvqespatial-temporal look-up tables
发现论文，激发创造
  • FastLLVE: 强度感知查找表实时低光视频增强

    提出了一种名为 FastLLVE 的高效管道，利用查找表（LUT）技术有效地保持帧间亮度一致性，从而实现低延迟和低复杂度的低光场景视频增强操作。

    Aug, 2023

  • 可学习的空间感知三维查找表实时图像增强器

    本文提出了一种基于可学习的空间感知三维查找表（3D LUTs）的实时图像增强器，它充分考虑了全局情况和局部空间信息，通过在端到端的方式中的权重融合学习 3D LUT 并将其用于以有效的方式将源图像转换为目标色调，该模型在公共数据集上主观上和客观上均优于 SOTA 图像增强方法，并且仅使用一个 NVIDIA V100 GPU 即可在 4ms 内处理 4K 分辨率图像。

    Aug, 2021

  • 基于时空变换器的视频压缩框架

    空间 - 时间变换器 (STT-VC) 是通过整合放松可变形变换器 (RDT)、多粒度预测 (MGP) 模块和基于空间特征分布先验的变换器 (SFD-T) 来提高学习视频压缩 (LVC) 的性能。实验结果表明，该方法相比于现有技术在 BD-Rate 节省上获得了 13.5% 的最佳结果。

    Sep, 2023

  • 捕捉用户生成内容中共存的失真以进行无引用视频质量评估

    视频质量评估的挑战在于解决用户生成内容视频中存在的严重失真导致整体视觉质量下降的问题，提出了 Visual Quality Transformer (VQT) 方法，并通过实验证明了其优于其他方法的性能。

    Jul, 2023

  • 基于时空一致的光照和反射分解的低光视频增强

    通过引入创新的基于 Retinex 的视频分解策略，结合动态相邻帧的相关性和场景级连续性约束，以及双结构增强网络的交互机制，该研究实现了在低光环境下视频的增强和一致分解，超越了现有的方法，达到了最新的性能水平。

    May, 2024

  • 流式向量搜索的本地自适应量化

    研究了向量嵌入、检索增强生成、流式相似性搜索、局部自适应向量量化和 Turbo LVQ，提出了两种改进的 LVQ 方法，通过高效地搜索性能提高了搜索效果，并通过 Scalable Vector Search 引入开源库提供工具。

    Feb, 2024

  • 可控时空视频超分辨率的时间调制网络

    本文提出了一种使用 “时间调制网络” 的方法，结合弯曲卷积和局部时间特征比较模块来处理视频的短期和长期动作线索，以提高低分辨率和低帧率视频的空间和时间分辨率，实验结果表明，该方法的性能优于现有的 STVSR 方法。

    Apr, 2021

  • 自我中心视频中的单阶段视觉查询定位

    提出了一种用于长格式自我中心视频上识别和定位特定对象的单阶段 VQL 框架，该框架比之前的方法精度提高了 20％，推断速度提高了 10 倍。

    Jun, 2023

  • LiteVL：增强空间 - 时间建模的高效视频 - 语言学习

    本文提出 LiteVL 模型，结合 BLIP 图像语言模型，通过使用动态时态缩放，给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，取得了良好的性能，即使没有进行任何视频 - 语言预训练。

    Oct, 2022

  • RSTT: 实时时空变换器用于时空视频超分辨率

    提出了一种基于空间 - 时间变换器的方法来解决空间 - 时间视频超分辨率问题，相比于基于卷积神经网络的方法，这种方法不需要明确使用单独的构建模块进行时间插值和空间超分辨率，而是只使用一个端到端的转换器架构，并且具有更快的推理速度和更少的参数。

    Mar, 2022