May, 2024

Lumina-T2X：基于流式大规模扩散转换器将文本转化为任何模态、分辨率和持续时间

PDF
TL;DRLumina-T2X 是一种 Flow-based Large Diffusion Transformer (Flag-DiT) 模型，通过将不同模态的表示统一到一个框架中，实现了任意分辨率、宽高比和长度的图像、视频、多视角 3D 物体和音频剪辑的生成。采用 RoPE、RMSNorm 和 Flow matching 等先进技术，Lumina-T2X 模型在稳定性、灵活性和可伸缩性方面取得了突破，并在分辨率外推、高分辨率编辑、一致的 3D 视图合成和视频过渡等任务中展现了出色的性能。
发现论文，激发创造
  • Lumina-Next: 用 Next-DiT 让 Lumina-T2X 更强更快

    Lumina-Next 是一种改进的 next-generation generative AI，使用 diffusion transformers 进行 text-to-image generation 和 multilingual generation，表现出强大的生成性能和通用建模能力。

    Jun, 2024

  • 面向多模态生成的生成人工智能系统影响

    对新兴的多模态文本到图像和文本到视频工作负载进行深入的系统性能表征是设计高效和可部署系统的关键第一步。

    Dec, 2023

  • 基于扩散的文本到图像生成的可扩展性研究

    通过对缩放去噪网络骨干和训练集的广泛割离实验，本研究探讨了扩大规模的扩散式文本到图像（T2I）模型的特性，发现在模型扩展方面，跨向量关注的位置和数量对现有 UNet 设计的性能具有差异性，增加 Transformer 模块对于提高文本和图像的对齐比增加通道数量更加参数有效。在数据扩展方面，我们发现训练集的质量和多样性比简单的数据集大小更重要，增加标题密度和多样性可以提高文本和图像的对齐性能和学习效率。最后，我们提供了预测文本和图像对齐性能的缩放函数，函数依赖于模型规模、计算和数据集大小。

    Apr, 2024

  • Lumiere: 一个用于视频生成的时空扩散模型

    Lumiere 是一种文本到视频扩散模型，用于综合描绘逼真、多样和连贯的运动，在视频合成中是一个关键的挑战。通过引入空时 U-Net 架构，我们一次性地生成整个视频的时间持续性，与现有的合成关键帧和时间超分辨率的视频模型相比，我们的设计更容易实现全局时间一致性。我们展示了最先进的文本到视频生成结果，并表明我们的设计能够轻松支持广泛的内容创作任务和视频编辑应用，包括图像到视频、视频修复和风格生成。

    Jan, 2024

  • GenTron：深入探究扩散变压器在图像和视频生成中的应用

    该研究探索了用于图像和视频生成的基于 Transformer 的扩散模型，并介绍了 GenTron，它是一族使用基于 Transformer 的扩散的生成模型，扩展到文本到视频生成，并在人类评估中取得了显著的视觉质量改进。

    Dec, 2023

  • DiTTo-TTS：高效可扩展的零样本文本到语音系统基于扩散 Transformer

    利用大规模扩散模型做无领域特定建模的语音合成，通过跨注意机制和对语音表示总长度的预测来解决文本 - 语音对齐的问题，在语音的潜在空间中结合语义引导进行提升。该模型在 82K 小时的训练数据和 790M 参数的模型规模上进行了训练，实验证明它在自然度、可懂度和说话人相似度等指标上不仅简化了训练流程，而且具有与最先进的 TTS 模型相媲美的零 - shot 性能。

    Jun, 2024

  • MaxFusion: 文本 - 图像扩散模型中的即插即用多模态生成

    本研究提出了一种名为 MaxFusion 的新策略，通过合并多个模型的对齐特征，为扩展到新模态条件的基于文本到图像生成模型提供了一个高效的伸缩方法。

    Apr, 2024

  • PixArt-$α$: 快速训练扩散变换器实现逼真的文本到图像合成

    PIXART-$\alpha$, a Transformer-based T2I diffusion model, achieves high-quality image synthesis at low training cost, surpassing existing models in training speed and reducing CO2 emissions.

    Sep, 2023

  • 基于文本的图像到图像翻译的即插即用扩散特征

    研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

    Nov, 2022

  • PixArt-Σ: 4K 文字到图像生成的强弱训练扩散变压器

    通过引入 PixArt-Sigma，一种 Diffusion Transformer 模型（DiT），本文能够直接生成 4K 分辨率的图像，相比于前作 PixArt-alpha，PixArt-Sigma 在图像质量方面有显著提高，与文本提示的对齐也更好，并且通过 “由弱到强” 的训练过程，PixArt-Sigma 实现了训练效率的提升。

    Mar, 2024