Sep, 2024

Open-MAGVIT2：一个迈向民主化自回归视觉生成的开源项目

HTML
PDF
TL;DR本研究解决了当前自回归图像生成模型在高效生成大词汇量图像时面临的挑战。我们提出了一种新的方法，通过不对称令牌因式分解优化模型的词汇量，并引入“下一个子令牌预测”以提升生成质量。研究结果显示，Open-MAGVIT2在图像重建方面达到了最先进的性能，并促进了这一领域的创新与创造力。
发现论文，激发创造
  • MAGVIT: 掩码生成式视频变换器

    本研究提出了MAgVIT，通过3D分词器对视频进行量化并通过视频掩码令牌建模进行多任务学习，展示了MAgVIT在视频生成任务中的质量、效率和灵活性，且支持多种生成任务。

    Dec, 2022

  • Muse: 通过Masked生成变压器实现文本到图像生成

    Muse是一种基于遮蔽建模任务在离散令牌空间中训练的文本到图像Transformer模型，借助预训练的大型语言模型，实现了高度还原原始文本意图的图像生成能力，同时也能够直接应用于图像编辑等任务。

    Jan, 2023

  • 在大型语言模型中种下一个愿景的种子

    本文介绍了SEED，一种复杂的图像分词器，可使大型语言模型同时有看和画的能力，并提出了两个重要的原则，以有效地便于将SEED与LLMs对齐。

    Jul, 2023

  • 语言模型领先于扩散 - 分词器是视觉生成的关键

    通过引入MAGVIT-v2作为视觉分词器，本文展示了大型语言模型（LLMs）在图像和视频生成上优于扩散模型，并超越以前在视频压缩和动作识别任务中表现最佳的视频分词器。

    Oct, 2023

  • 视觉自回归建模：通过下一尺度预测实现可扩展图像生成

    Visual AutoRegressive modeling (VAR) improves autoregressive image generation surpassing diffusion transformers, exhibiting power-law scaling laws and zero-shot task generalization.

    Apr, 2024

  • 自回归模型胜过扩散模型: Llama用于可扩展图像生成

    LlamaGen是一种新型的图像生成模型家族，采用大型语言模型中的原始“下一个标记预测”范例应用于视觉生成领域，不附带对视觉信号的归纳偏见，可以在适当缩放的情况下实现最先进的图像生成性能。

    Jun, 2024

  • 一幅图像对于重建与生成而言价值32个令牌

    这篇研究论文介绍了一种基于Transformer的一维令牌化方法（TiTok），其将图像令牌化为一维潜在序列，通过提供更紧凑的潜在表示形式，实现了比传统技术更高效和更有效的图像合成。

    Jun, 2024

  • OmniTokenizer: 一个用于视觉生成的联合图像-视频分词器

    OmniTokenizer是一种基于Transformer的tokenizer，旨在处理图像和视频输入，并通过空间-时间解耦架构以及渐进式训练策略提供先进的重构性能。

    Jun, 2024

  • PhyBench：用于评估文本到图像模型的物理常识基准

    通过引入PhyBench评估数据集，我们评估了6个主要的T2I模型，发现当前的T2I模型主要关注文本到图像翻译，缺乏对物理常识的深入推理；我们提倡对T2I模型内在知识的更多关注，超越它们仅仅作为图像生成工具的实用性。

    Jun, 2024

  • 图像文件夹：折叠标记的自回归图像生成

    本研究解决了图像标记长度对图像重构和生成质量之间的权衡问题。提出的ImageFolder语义标记器通过折叠标记的方式提升自回归建模的生成效率和质量，利用双分支产品量化增强代表能力而不增加标记长度。实验结果表明，ImageFolder标记器在生成质量和标记长度方面表现优越。

    Oct, 2024