Jul, 2022

向量量化图像转换

PDF
TL;DR本文提出一种使用矢量量化技术的图像转换框架，使得图像之间能够无条件地共享分布，结合解耦的样式表示，该方法不仅能实现图像翻译，而且具有在所有领域内和领域之间的高度灵活性，在图像转换、无条件生成和图像扩展的应用中具有广泛的实用性。
image-to-image translationvector quantizationdisentangled style representationimage extensionunified framework
发现论文，激发创造
  • 利用离散内容表示进行少样本图像生成

    本研究将少样本图像转换方法应用于少样本图像生成任务中，通过量化连续内容地图为离散内容地图，学习本地内容向量的简洁字典，利用离散内容地图的自回归分布模型缓解内容地图和风格向量的不兼容性。实验结果表明，相对于以前的方法，该模型能够为未见类别生成更多样化和更真实的图像。

    Jul, 2022

  • 基于正则化向量量化的分词图像合成

    本文提出一种正则化的向量量化框架，通过两种正则化方法有效缓解确定性量化和随机量化所存在的问题，并设计出一种概率对比损失作为更进一步缓解扰动重构目标的标准度量，实验表明该框架在不同的生成模型中表现都比现有的向量量化方法更优。

    Mar, 2023

  • 利用变压器进行条件向量量化码扩散的未对齐二维到三维转换

    基于条件扩散和向量量化编码的简单而新颖的方法，通过操作信息丰富的代码空间，实现了对复杂场景的高分辨率 3D 图像合成。

    Aug, 2023

  • 多模态无监督图像到图像的翻译

    本研究提出了一种多模态无监督图像到图像的翻译框架 (MUNIT)，该框架可以将图像表示分解为内容代码和风格代码，从而能够生成来自给定源域图像的多样性输出，并能够通过提供示例样式图像来控制翻译输出的风格。该框架在对比最先进的方法的基础上，通过大量实验证明了其优势。

    Apr, 2018

  • TraVeLGAN: 通过变换向量学习进行图像到图像的翻译

    介绍了一种基于 GAN 的全新图像到图像翻译方法，其中使用同层网络的潜在空间来保留图像内变换，不再需要约束生成器的循环一致性限制，实现了对高级形状和语境等更复杂领域的转换。

    Feb, 2019

  • 基于灰度重新定义的高分辨率图像转换模型

    提出了一种创新的图像翻译方法，包括利用灰度调整方法进行像素级翻译、利用 Pix2PixHD 模型以及改进的损失函数来增强图像翻译性能，解决了稀疏训练数据的问题。

    Mar, 2024

  • 改进 VQGAN 的向量量化图像建模

    使用预训练 Transformers 模型，结合 VQGAN 模型实现离散图像向量量化，进一步提高了图像生成和无监督表示学习的效率和准确性。同时，该模型还在 ImageNet 数据集上的线性探针准确性方面的表现优于同等规模的 Image GPT-L 和 Image GPT-XL 模型。

    Oct, 2021

  • 文本到图像的向量量化扩散模型

    本论文提出了基于矢量量化扩散模型的文本到图像生成方法，在扩散条件变量程序模型的潜在空间中建模基于矢量量化变分自编码器的方法，消除了现有方法中的单向偏​​差，并允许我们结合掩模和替换扩散策略以避免误差积累，其结果在生成复杂场景的图像方面得到了显着的改进。

    Nov, 2021

  • 基于检索引导的无监督多领域图像到图像翻译

    本文提出使用图像检索系统辅助图像翻译，从而生成更高质量的图片，实验结果表明该方案是有效的。

    Aug, 2020

  • 使用领域特定变分信息界限进行无监督图像到图像的翻译

    本文介绍了一种无监督图像转换框架，该框架最大化了一个特定域的变分信息界，并学习了这两个域的目标域不变表示。

    Nov, 2018