Sep, 2023

桥梁扩散模型：桥接非英语母语文本到图像的扩散模型与英语社区

PDF
TL;DR使用 “桥接扩散模型”（Bridge Diffusion Model）结构提出了一种新方法，通过一种端到端的方式，同时生成能够准确描绘非英语本地语义的图像和与英语本地文语义兼容的图像，并促进文化互动。在将该方法应用于构建中文本地文语言生成的 TTI 模型的验证中，该方法是通用的，适用于任何其他语言。
text-to-image generationmodel biasnon-english languagebridge diffusion modelcultural interaction
发现论文，激发创造
  • AltDiffusion: 多语言文本到图像扩散模型

    AltDiffusion 是一种新颖的多语种 T2I 扩散模型，它支持 18 种不同语言，并且在生成高质量图像方面优于现有的 T2I 模型，尤其是在理解文化特定概念方面。

    Aug, 2023

  • 基于翻译增强的多语言文本图像生成

    本文研究了多语言文本到图像生成 (mTTI) 和神经机器翻译 (NMT) 在 mTTI 系统中的潜在作用，提出了 Ensemble Adapter 方案，通过实证研究多语言文本知识的加权和整合，以此来改善 mTTI 系统的性能，并在三个标准 mTTI 数据集上进行了评估。

    May, 2023

  • 太一扩散・记者：运用大型视觉语言模型推进双语文本到图像生成

    通过扩展 CLIP 和 Stable-Diffusion-XL 的能力，我们开发了一种新的中英双语文本到图像模型 Taiyi-Diffusion-XL，该模型在中英双语图文检索和图像生成方面都表现优异，填补了开源模型领域中对双语或中文支持的重要缺口。

    Jan, 2024

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • 图像到图像翻译的双重扩散隐式桥梁

    介绍了一种基于扩散模型的图像翻译方法 DDIBs，其通过独立训练两个扩散模型，实现了不需要同时访问源和目标数据集进行训练的图像翻译。该方法通过源到潜变量和潜变量到目标之间的 Schrodinger Bridges，提高了翻译效率和性能，可应用于各种图像翻译任务。

    Mar, 2022

  • 消除文本到图像扩散模型的偏见

    目前的学习型文本到图像模型存在社会偏见问题，本研究提出了一种基于迭代分布对齐的方法，通过权重优化来解决社会偏见问题。

    Feb, 2024

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022

  • Design Booster：一种注重空间布局保留的文本引导扩散模型用于图像翻译

    提出了一种通过学习感知图片布局和感知文本共同来进行灵活的图片翻译的新方法，该方法在实验中具有最佳的风格和语义图片翻译效果，并且需要的时间最短。

    Feb, 2023

  • 文化鸿沟导航：探索和解锁文化视角的文本到图像模型

    通过对 CulText2I 数据集进行内在评估、外在评估和人类评估，探索 TTI 模型中嵌入的文化知觉，揭示了模型的文化意识、文化差异和跨文化应用的潜力。

    Oct, 2023

  • 刷字：通过扩散模型在图像上合成任意场景文本

    提出了 Diff-Text，它是一个训练免费的场景文本生成框架，能够以任何语言的文本和场景的文本描述为输入，输出逼真的照片。通过引入局部化的注意力约束和对比度图像级提示，实现了场景文本的准确生成，并在文本识别准确性和前景背景融合的自然度方面优于现有方法。

    Dec, 2023