CVPRMay, 2023

利用频率增广变分自编码器进行图像重建

PDF
TL;DR本文提出了一种用于增强 VQ-VAE 结构的频率补全模块 (Frequency Complement Module, FCM)，并且引入了一种动态频谱损失 (Dynamic Spectrum Loss, DSL)，用于引导 FCM 动态地平衡频率以获得最佳重建。FA-VAE 进一步扩展到了文本到图像合成任务中，并提出了交叉注意力自回归变换器 (Cross-attention Autoregressive Transformer, CAT) 以获得更精确的文本语义属性。通过在几个基准数据集上进行广泛的重建实验，并与其它最先进的方法进行比较，结果表明，所提出的 FA-VAE 能够更忠实地恢复细节。CAT 在图像文本语义对齐方面也显示出了更好的生成质量。
vq-vaefrequency complement moduledynamic spectrum losstext-to-image synthesiscross-attention autoregressive transformer
发现论文，激发创造
  • 重温 VAE 的无监督时间序列异常检测：一种频率视角

    我们提出了一种新的无监督异常检测方法 FCVAE，通过同时集成全局和局部频率特征，显著提高了正常数据的重构准确性，以解决基于 VAE 的方法在捕捉长周期异质模式和详细短周期趋势方面面临的挑战。通过精心设计的 “目标注意力” 机制，我们的方法能够从频域选择最有用的信息以更好地构建短周期趋势。在公开数据集和大规模云系统上对 FCVAE 进行了评估，结果表明它优于最先进的方法，验证了我们的方法在解决当前基于 VAE 的异常检测模型的局限性方面的实际适用性。

    Feb, 2024

  • 用于去模糊变分自编码器的短时傅里叶变换

    通过修改变分自编码器的重构项，引入傅里叶变换和局部相位一致性的损失函数，解决生成样本模糊性问题，并在 MNIST 数据集上提供了定性和定量结果。

    Jan, 2024

  • 神经图像压缩中的频率分离特征

    基于特征级频率分离和基于 Transformer 的分析 / 合成变换的增强自注意力计算的神经图像压缩网络，不仅优于手工编码的编解码器，还优于基于神经网络的编解码器。

    Aug, 2023

  • 朝向准确的图像编码：动态向量量化改进自回归图像生成

    提出了一种新的两阶段框架，它使用动态量化 VAE 将图像区域编码为基于其信息密度的可变长度代码，以实现更准确，更紧凑的代码表示，从而解决了现有 VQ 基于自回归模型的固定长度编码问题，该方法通过一种新的堆叠 Transformer 架构和共享内容、独立位置输入层设计，从粗粒度到细粒度生成图像。

    May, 2023

  • 频率感知变换器用于学习图像压缩

    学习图像压缩 (LIC) 已成为近年来在图像存储和传输方面的有效解决方案，然而，现有的 LIC 方法存在潜在的表示冗余问题，限制了其对各向异性频率成分和方向细节的捕捉。为了克服这些挑战，我们提出了一种新颖的频率感知变换器 (FAT) 模块，首次实现了对 LIC 的多尺度方向分析。FAT 模块由频率分解窗口注意力 (FDWA) 模块组成，用于捕捉自然图像的多尺度和方向频率成分。此外，我们引入了频率调制前馈网络 (FMFFN)，以自适应调制不同频率成分，从而改善了速率失真性能。此外，我们还提出了基于变换器的通道级自回归 (T-CA) 模型，有效地利用了通道依赖性。实验证明，与现有的 LIC 方法相比，我们的方法在速率失真性能上达到了最先进的水平，并在 Kodak、Tecnick 和 CLIC 数据集上相对于最新的标准编解码器 VTM-12.1 提高了 14.5%、15.1% 和 13.0% 的 BD - 率。

    Oct, 2023

  • 无线通信和传感器网络中多模态数据融合的优化

    本文提出了一种基于向量量化变分自编码器架构的多模态数据融合新方法，可以在 MNIST-SVHN 数据和 WiFi 光谱数据之间以及 5G 通信场景下实现卓越的重构性能，并通过端到端 CSI 反馈系统来压缩基站（eNodeB）和用户设备（UE）之间传输的数据，为各种类型的输入数据（CSI，光谱图，自然图像等）学习一个具有区分性的压缩特征空间，是针对计算资源有限的应用的一个合适的解决方案。

    Feb, 2023

  • 利用 VQ-VAE-2 生成多样高保真度图像

    本文探讨矢量量化变分自编码器模型 (VQ-VAE) 进行大规模图像生成的应用，采用自回归先验信息，结合简单前馈编码器和解码器网络，以压缩的潜变量空间进行自动回归模型采样，同时使用多尺度层级 VQ-VAE 进行生成，取得比 Generative Adversarial Networks 更加优秀的样本生成品质。

    Jun, 2019

  • 深度量化：用深度生成模型编码卷积激活

    该论文提出了一种基于 Fisher 向量与变分自编码器的深层架构，用于将卷积层的本地激活量化为深度生成模型，并在三个公共数据集上进行广泛实验，取得了比现有最先进方法更好的结果。

    Nov, 2016

  • 图像重建与合成的焦点频率损失

    本研究展示了狭窄频率域中缩小误差能够进一步改善图像重建和合成质量，提出了新的焦点频率损失函数并在多种流行的模型中展示其作用，同时对 StyleGAN2 的潜在性进行了探讨。

    Dec, 2020

  • 使用稀疏表示生成图像

    本文提出一种基于分块离散余弦变换（DCT）块的生成模型，使用 Transformer-based 自回归模型对块进行预测，以生成高质量、多样化的图像，并展示了对于简单的改进，该方法在图像着色和高精度图像放大方面也具有有效性。

    Mar, 2021