Aug, 2023

侏罗纪世界重制：通过零样本长图像转换将古代化石复活

PDF
TL;DR利用文本引导的潜在扩散模型，在大领域差距中实现了零样本图像到图像的翻译，并提出了新的任务 Skull2Animal 以在头骨与活体动物之间进行翻译，通过指导式扩散和图像编辑模型设计了 Revive-2I 基准模型，桥接大领域差距需要先有目标领域的先验知识。
发现论文，激发创造
  • 使用丰富提示进行零样本图像转换的扩散模型再生学习

    本文提出了一种 ReDiffuser 图片修复模型，该模型使用自动生成的描述来完成图片编辑，利用再生学习和交叉注意力向导实现图片对形状的一致性保留，并引入一种协作更新策略，提高图片修复的质量和一致性。实验结果表明，该方法在真实和合成图片编辑方面优于现有方法。

    May, 2023

  • 基于预训练 StyleGAN2 网络的无监督图像到图像的翻译

    通过在预训练的 StyleGAN2 模型上进行一系列的模型变换，我们提出了一种新的图像到图像 (I2I) 转换方法，并提出了一种反演方法，以在源领域和目标领域之间进行 I2I 翻译。定性和定量评估证明了该方法在图像质量、多样性和与输入和参考图像的语义相似性方面具有优越性能，与最先进的作品相比。

    Oct, 2020

  • DeepI2I：通过 GAN 传递实现深层次图像到图像的翻译

    DeepI2I 为一种新的基于深度学习和层级特征的图像翻译方法，采用转移学习技术和适配器网络解决了高分辨率瓶颈和对小数据集性能较差的问题，在三个数据集上的实验结果表明可以显著提高多类别图像翻译的性能。

    Nov, 2020

  • 零样本文本指导的视频到视频转换

    本研究提出了一种基于零样本文本引导的视频到视频转换框架来适应图像模型到视频的应用，在形状、纹理和颜色上强制执行分层的跨帧约束，实现低成本下的全局样式和局部纹理的时空一致性。

    Jun, 2023

  • 视觉语言预训练多实例零样例迁移用于组织病理学图像

    提出了 MI-Zero 框架，它将对比可视语言预训练模型的零射频转换重构为多实例学习，以在吉盘组织学全幻灯片图像上释放其零射频转换能力，从而在预先训练的编码器不需要任何额外的标签的情况下进行多个下游诊断任务。

    Jun, 2023

  • 低分辨率指导下的领域无关图像翻译

    本论文提出了一种面向细粒度问题的无域图像转换方法，其使用一种全新的方法生成图像，这种方法集中在从源图像提取视觉特征并与低频信息相结合，以生成符合期望的输出图像，该方法在处理面向细粒度问题的图像转换任务时能够生成更真实的图像样本。

    May, 2023

  • 文本引导的可探索式图像超分辨率

    本文介绍了零样本文本引导下的开放领域图像超分辨率探索问题，提出了两种零样本文本引导超分辨率的方法，涉及生成过程、扩散模型和恢复方法，实现了匹配语义意义并保持数据一致性的多样解决方案，优化了极端超分辨率任务的恢复质量、多样性和可探索性。

    Mar, 2024

  • 创造你的世界：终身文本生成图像

    通过 L2DM 框架，本文研究了文本到图像生成模型中的知识遗忘和语义忽视问题，通过任务感知内存增强模块、弹性概念精馏模块、概念关注艺术家模块和正交关注模块，生成更准确、更忠实的图像。

    Sep, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • Lafite2: 少样本文本到图像生成

    本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可以灵活应用于各种情境和模型，并在实验中表现出显著的效果，GAN 模型在完全监督的情况下得到了 6.78 的 FID，是 GAN 最新的 SoTA 结果。

    Oct, 2022