May, 2022

GIT: 用于视觉和语言的生成图像到文本的变压器

PDF
TL;DR本文设计和训练了一个生成式图像到文本的转换器 ——GIT，以统一图像 / 视频字幕和问答等视觉语言任务。使用简化的体系结构和扩大的预训练数据和模型规模，GIT 在 12 个具有挑战性的基准测试中都取得了新的最佳表现，这些基准测试中有 TextCaps、图像分类和场景文本识别等。
generative image-to-text transformervision-language taskslanguage modeling taskpre-training datastate of the art
发现论文，激发创造
  • MaskGIT: 掩码生成式图像转换器

    本文提出了一种新的图像合成模型 ——MaskGIT，采用双向 transformer 解码器，通过学习预测随机遮罩的 tokens 并在推理时同时生成全部 tokens，迭代地改进图像以获得高保真度和高分辨率的生成图像，并在 ImageNet 数据集上优于现有模型，同时通过自回归解码加速达到 64 倍，还可轻松扩展到各种图像编辑任务中。

    Feb, 2022

  • GiT: 通向通用视觉 Transformer 的普适语言接口

    这篇论文提出了一种简单而有效的框架，名为 GiT，它能够同时适用于各种视觉任务，只需一个简单的 ViT 模型。

    Mar, 2024

  • 强化学习微调的视觉 - 编码转换器用于 UI 转码生成

    本文提出了一种新颖的视觉 - 代码转换器方法，并探索了 Actor-Critic 微调作为提高基线的一种方法，用于从屏幕截图生成高质量代码片段，其性能表现突出，在自动化度量方面表现强大。

    May, 2023

  • GiT: 用于车辆再识别的图形交互变压器

    本文提出一种名为 GiT 的图与变压器相互作用的模型，用于处理车辆重新识别问题，提取局部可辨别的特征和全局的鲁棒特征，该方法在三个大规模车辆重新识别数据集上的实验证明其优于现有方法。

    Jul, 2021

  • CogView2：采用分层 Transformer 技术的更快更好的文本到图像生成

    本文提出了基于分层 Transformer 和本地并行自回归生成的解决方案，使用一个简单灵活的自监督任务 CogLM 进行预训练，并将其用于快速超分辨率。新的文本到图像系统 CogView2 相对于最先进的 DALL-E-2 具有非常优异的生成能力，并自然支持图像文本引导编辑。

    Apr, 2022

  • CoBIT：一种对比式双向图像文本生成模型

    提出了一个新的 Contrastive Bi-directional Image-Text generation (CoBIT) 模型，具有 unicoder-decoder 结构，可同时应用于图像理解、图像与文本相互理解和文本创作，特别是在零样本场景下表现卓越。

    Mar, 2023

  • FlexIT: 柔性语义图像翻译

    通过引入 FlexIT，可以使用用户定义的文本指令编辑任意输入图像，并通过多项规范化项确保其连贯性和质量，从而扩展了语义图像转换的界限。

    Mar, 2022

  • 用 Transformer 掌握文本到图像生成的技巧 ——CogView

    提出了一个使用 4 亿多参数的 Transformer 模型 CogView 以及 VQ-VAE 分词器解决通用领域文本到图像生成问题，并展示了细调策略和预训练稳定化方法，CogView 在模糊的 MS COCO 数据集上实现了最优性能，胜过以前基于 GAN 的模型和最近的 DALL-E 相似作品。

    May, 2021

  • VL-GPT：用于视觉与语言理解与生成的生成式预训练 Transformer 模型

    VL-GPT 是一种同时感知和生成视觉和语言数据的变压器模型，通过采用直观的自回归目标，实现了图像和文本两种模态的统一预训练方法，从而使模型可以像处理文本一样无缝地处理图像和文本。预训练完成后，VL-GPT 在包括图像字幕生成、视觉问答、文本到图像生成等多样的视觉和语言理解以及生成任务中表现出了令人瞩目的零样本和少样本性能。

    Dec, 2023

  • 双向图像与文本生成统一多模态转换器

    本文研究了图片到文本和文本到图片生成的联合学习，使用了基于 Transformer 的单个多模式模型来统一学习双向任务，并通过两级粒度特征表示和序列级训练进一步改进 Transformer 的统一框架，实验证明，该方法显著提高了先前基于 Transformer 的模型 X-LXMERT 的文本到图像生成的 FID（37.0→29.9）和在 MS-COCO 数据集上对细调图像到文本生成的 CIDEr-D 得分（100.9%→122.6%）。

    Oct, 2021