ICCVAug, 2023

ResQ: 视频感知的剩余量化

PDF
TL;DR通过低位量化的新视角以及引入时间依赖性，本文提出了一种视频网络的新的量化方案 Residual Quantization（ResQ），以降低冗余计算并提高准确性和比特位宽。此外，还通过动态调整比特位宽来适应视频中的变化，通过在语义分割和人体姿势估计基准上的实验证明该方法优于标准量化和现有高效视频感知模型。
video perceptionsemantic segmentationhuman pose estimationresidual quantizationbit-width
发现论文，激发创造
  • 高效视频识别的分辨率思考

    本研究通过跨分辨率知识蒸馏方法（ResKD）来解决在低分辨率视频帧上识别准确度低的问题，该方法证明了在提高效率和精度方面的有效性，并可扩展到极低分辨率帧。

    Sep, 2022

  • 高阶残差量化网络加速性能保障

    本文提出了一种高阶二值化方案，通过递归执行残差量化并获得一系列减小幅度尺度的二值输入图像，提出了高阶二进制过滤和梯度传播操作，理论分析和实验结果都证明了提出的方案在加速的同时，能够达到更高的识别准确率。

    Aug, 2017

  • 全量化图像超分辨率网络

    针对模型量化与 SR 网络训练中的两个困难，本文提出了一种全量化图像超分辨率框架（FQSR）来同时优化效率和精度，并在多个主流 SR 构架上应用，实验表明与全精度 SR 方法相比，FQSR 具有相同的性能和较低的计算成本。

    Nov, 2020

  • 基于残差帧的稀疏重构技术实现的可扩展视频超分辨率框架

    文章提出了一个基于稀疏表示和压缩感知的超分辨率框架，用于在侦察和监视应用中对可扩展视频进行处理，实验结果表明，该框架具有更高的压缩率和更高的视频质量，是一种有效的压缩率更高、图像质量更优的视频处理算法。

    Jul, 2017

  • 使用残差量化的自回归图像生成

    本文提出了一种两阶段的框架，由残差量化 VAE（RQ-VAE）和 RQ-Transformer 组成，旨在有效地生成高分辨率图像，通过精确的逼近，我们可以将 256×256 像素的图像表示为 8×8 特征映射，并且 RQ-Transformer 可以在保证生成高品质图像的同时减少计算成本。

    Mar, 2022

  • 基于特征残差的学习式视频压缩

    本文介绍了一种基于深度神经网络的视频压缩网络，通过对图像特征的残差进行压缩，结合模型集成和逐步训练的方式提高整个框架的训练效率，并在 CLIC 验证集上实现了 0.9968 MS-SSIM 和测试集上的 0.9967 MS-SSIM。

    Apr, 2020

  • 动态网络量化用于高效视频推理

    本文提出动态网络量化框架，依据每个输入帧选择最佳精度以实现高效的视频识别，实验结果显示，在四种具有挑战性的基准数据集上，与现有先进方法相比，该方法提供了显著的计算和内存使用节约，同时保持竞争性能。

    Aug, 2021

  • 空时中的乘法残差哈希神经视频分解

    我们提出了一种视频分解方法，可以对具有时空变化照明和运动效果的视频进行基于层次的编辑。我们的神经模型将输入视频分解为多个分层表示，其中包括 2D 纹理贴图、原始视频的掩码以及表征光照条件时空变化的乘法残差。通过对纹理贴图进行单个编辑，可以在整个视频帧的对应位置传播并保持其他内容的一致性。通过坐标哈希，我们的方法可以以每帧 25 秒的速度高效学习 1080p 视频的基于层次的神经表示，并在单个 GPU 上以 71 帧每秒的速度实时渲染编辑结果。在定性方面，我们运行该方法在各种视频上展示其生成高质量编辑效果的有效性。在定量方面，我们提出采用特征跟踪评估指标来客观评估视频编辑的一致性。

    Sep, 2023

  • 通过含蓄的神经网络码本进行残差量化

    QINCo 是一种神经网络 RQ 变体，它通过根据先前步骤的向量逼近条件化地预测每个向量的专门码书，实验证明 QINCo 在多个数据集和码字大小上显著优于现有方法。

    Jan, 2024

  • PIPE：并行推理通过后训练量化残差扩展集成

    通过将浮点操作转换为较低位宽格式，基于残差误差扩展、群组稀疏性和集成逼近的 PIPE 量化方法，在每个基准应用、架构和位宽上实现卓越性能，从深度神经网络到自然语言处理，从 int8 到三进制量化，并满足数据隐私需求。

    Nov, 2023