Jul, 2023

连续潜在空间图像超分辨率的软引导变分自编码器

PDF
TL;DR连续图像超分辨率 (SR) 一直受到研究人员的关注，因为它可以在各种显示设备上实现实用且灵活的图像缩放。本文提出了一种 Soft-introVAE 方法，用于连续潜在空间图像超分辨率 (SVAE-SR)，通过局部隐式图像表示来进行坐标和二维特征的插值，同时采用一种新颖的潜在空间对抗训练方法来实现保真度很高的图像恢复，进一步利用位置编码方案通过汇集像素区域上的频率信息来改进质量。我们通过定量和定性比较展示了提出的 SVAE-SR 的有效性，并进一步阐述了其在去噪和真实图像超分辨率方面的泛化能力。
continuous image super-resolutionlocal implicit image representationsoft-introvaelatent space adversarial trainingpositional encoding scheme
发现论文，激发创造
  • 使用深度变分自编码器进行图像超分辨率

    介绍了一种新的 VDVAE-SR 模型，利用预训练 VDVAE 的迁移学习来解决图像超分辨率问题，并与其他同类模型在图像质量指标上具有相当的竞争力。

    Mar, 2022

  • Soft-IntroVAE：分析和提升内省变量自编码器

    使用 Soft-IntroVAE 替换 IntroVAE 在生成样本中使用的铰链损失项，从而显着提高训练稳定性，并加强了该算法的理论分析。我们展示了 IntroVAE 会收敛到最小化数据分布之间的 KL 距离和熵项和的分布，这一结果的影响使得它在图片生成和重建任务中有极好表现，并通过两个应用场景展示了 Soft-IntroVAE 的竞争力。

    Dec, 2020

  • 内省变分自编码器：用于照片图像合成的模型

    介绍了一种新颖的内省变分自动编码器 (IntroVAE) 模型，其可以用于合成高分辨率的照片图像，并通过将 GAN 和 VAE 两种生成框架集成到一个简单而高效的单流架构中，实现了高性能的图像生成。

    Jul, 2018

  • 通过隐式扩散实现图像超分辨率：一种基于采样空间混合模型的专家和频率增强解码器方法

    通过使用扩展的预训练文本图像模型进行扩散先验处理，本研究提出了基于频率补偿模块和样本空间多专家混合（SS-MoE）的潜在空间方法，以提高图像超分辨率的性能。

    Oct, 2023

  • CV-VAE：潜在生成视频模型的兼容视频变分自编码器

    我们提出了一个名为 CV-VAE 的视频 VAE 方法，通过与给定图像 VAE 进行潜在空间的兼容性来实现训练视频模型，并展示了其在视频生成和压缩方面的有效性。

    May, 2024

  • 变分自编码器中潜空间的自适应压缩

    这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法，通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小，并将该方法与传统的超参数网格搜索进行比较，结果表明其速度显著更快，且在四个图像数据集上实现了最佳的维度。此外，还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当，因此可能作为一种便利的替代方法。

    Dec, 2023

  • PixelVAE：自然图像的潜变量模型

    这篇论文提出了 PixelVAE，这是一种基于 PixelCNN 的 VAE 模型，可以高效地捕获大型结构和保留压缩的潜在表示，适用于无监督学习的挑战。

    Nov, 2016

  • GLSR-VAE: 变分自编码器架构的测地潜空间正则化

    该论文介绍了 GLSR-VAE，一种 Geodesic Latent Space Regularization 方法，该方法可以在生成数据时对数据进行微调，并演示了在一个单声部音乐生成任务中生成音乐变化的有效性。

    Jul, 2017

  • VideoINR：学习视频隐式神经表示实现连续的时空超分辨率

    本研究提出了 Video Implicit Neural Representation (VideoINR) 的框架，支持任意空间分辨率和帧率的 STVSR，相比之前的方法在超出训练分布范围的数据上表现出更好的性能，这对提高视频质量有着很大的实际意义。

    Jun, 2022

  • 用于多样图片字幕中目的建模的连续潜在空间

    通过 Seq-CVAE 模型，学习每一个单词位置的潜在空间，并仿照一个将来总结的表示来鼓励这个时间上的潜在空间捕捉如何完成句子的 “意图”，并在 MSCOCO 数据集上表现出了显著的多样性改进指标，同时在句子质量方面达到了同等水平。

    Aug, 2019