Jun, 2022

面向内容丰富的文本图像生成的自回归模型扩展

PDF
TL;DR该研究提出了 Pathways Autoregressive Text-to-Image（Parti）模型，它是一个将文本转换为高保真度照片般的图像的模型，并支持包含复杂组合和世界知识的内容丰富的合成。
autoregressivetext-to-imagetransformer-basedsequence-to-sequencemachine translation
发现论文，激发创造
  • Emage: 非自回归式文本到图像生成

    非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

    Dec, 2023

  • 零样本文本到图像生成

    本文介绍了一种基于 transformer 的 autoregressive 的文本 - 图像生成方法，其与以往的一些领域特定模型相比，具有更好的尺度和零样本表现。

    Feb, 2021

  • STAR：基于自回归表示的按尺度文本图像生成

    STAR 是一种文本到图像模型，通过采用自回归范式实现，并通过预训练文本编码器提取文本约束的表示，利用交叉注意力层提高生成图像与文本指导的交互作用，借助 2D RoPE 和归一化版本，确保不同尺度上的相对位置的一致解释，并通过超过现有基准的实验结果，展示其在高质量图像合成方面的潜力，为当前由扩散方法主导的 T2I 领域提供有希望的新方向。

    Jun, 2024

  • 通过缩放实现更好的语音合成

    本文介绍了一种将图像生成领域的进展应用到语音合成的方法，旨在创造出一种具有表现力和多音色的文本朗读系统 TorToise。

    May, 2023

  • Lafite2: 少样本文本到图像生成

    本文提出了一种在仅有图像数据集的情况下预训练文本到图像生成模型的新方法，通过检索和优化过程综合生成伪文本特征，可以灵活应用于各种情境和模型，并在实验中表现出显著的效果，GAN 模型在完全监督的情况下得到了 6.78 的 FID，是 GAN 最新的 SoTA 结果。

    Oct, 2022

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • PaLI: 一个共同缩放的多语言语言图像模型

    PaLI 是一种简单、模块化和可扩展的神经网络模型，利用大规模预训练的 encoder-decoder 语言模型和 Vision Transformers 来实现视觉和语言的联合建模，并在多种语言的情况下生成文本并完成多模态任务，此外，通过基于包含超过 100 种语言的 10B 个图像和文本的新图片 - 文本训练集创建大规模多语言混合预训练任务，实现了多项视觉和语言任务的最新水平。

    Sep, 2022

  • 图像变换器

    在这项工作中，我们将基于自我关注机制的模型架构 ——Transformer 模型，泛化到图像生成的序列建模问题上，并通过限制自我关注机制只关注局部邻域，显著提高了模型能够实际处理的图像大小，同时在图像生成方面显著优于当前最优秀的状态，提高了 ImageNet 上最佳公布的负对数似然从 3.83 到 3.77，同时还针对大放大倍数进行了图像超分辨率实验。在人类评估研究中，我们发现，我们超分辨率模型生成的图像比先前的最优模型更能欺骗人类观察者。

    Feb, 2018

  • 预训练语言模型无助于自回归文本到图像生成

    最新的图像编码器 VQ-VAE 已经能够使用自回归方法进行文本到图像的生成，但是这些方法尚未利用预训练语言模型的适应性，本研究通过调整预训练语言模型，对自回归文本到图像生成进行了探索，发现预训练语言模型的帮助有限，并提供了两方面的解释，即图像标记与文本标记的语义存在显著差异，导致预训练语言模型对它们的建模效果不如随机初始化模型，并且图像文本数据集中的文本标记与正常语言模型预训练数据相比过于简单，导致语言模型能力的灾难性降低。

    Nov, 2023

  • PLANET: 自回归变压器中动态内容规划用于长篇文本生成

    本文提出了 PLANET 框架，采用自回归自注意机制，结合包含词汇的句子级语义计划来动态地进行内容规划和表面实现。引入基于连贯性的对比学习目标，以进一步提高输出的连贯性。实验结果表明，我们的方法在生成较富内容的连贯文本方面优于基线方法。

    Mar, 2022