IJCAIMay, 2020

非自回归图像描述生成与反事实关联 - 关键多智能体学习

PDF
TL;DR本文提出了一种 Non-Autoregressive Image Captioning（NAIC）模型，采用一种新的训练范式：Counterfactuals-critical Multi-Agent Learning（CMAL），将其制定为多智能体强化学习系统，经过对大规模未标记图像的实验表明，该模型实现了与最先进的自回归模型可比的性能，同时速度提高了 13.9 倍。
image captioningnon-autoregressive decodingcounterfactuals-critical multi-agent learningreinforcement learningdecoding speedup
发现论文，激发创造
  • 半自回归式图像字幕

    该研究提出了一种新的两阶段模型，称为半自回归图像字幕生成模型，使用部分先验信息和图像特征，先以自回归方式生成一个间歇性序列，然后使用迭代的非自回归方式填充所有跳过的单词，可以更好地权衡性能和速度，并在 MS COCO 基准测试上得到更好的表现和竞争性推理加速。

    Oct, 2021

  • 具有位置对齐的快速图像字幕生成

    提出了一种非自回归解码框架用于图片描述，该框架使用位置对齐和推理策略来指导更进一步的句子生成，实验结果表明此模型相对于自回归模型有显著的加速效果，并且相较于 NA 模型有更好的表现。

    Dec, 2019

  • 掩码非自回归图像字幕生成

    本文提出了一种基于遮码机制的非自回归解码模型，用于生成图像标题。实验结果表明，该模型可以更有效地保留语义内容并生成更多样化的标题。

    Jun, 2019

  • Emage: 非自回归式文本到图像生成

    非自回归模型在生成图像时具有高效生成大量图像标记、低推理延迟等特点，与自回归模型相比，其参数规模为 346M，使用一台 V100 GPU 在 1 秒内生成了一张 256×256 像素的高质量图像。

    Dec, 2023

  • 非自回归式的粗到细视频字幕

    本文提出了一种非自回归解码的模型，使用基于双向自注意力的语言模型来加速推理，生成视频字幕的过程分为两个阶段，通过迭代的修改，得到高质量的细致视频描述，大量实验表明该方法达到了最先进的性能，并获得了高推理效率。

    Nov, 2019

  • 序列型演员 - 评论家算法在图像字幕生成中的应用

    本研究探究了基于 actor-critic 强化学习的图像标题生成模型的训练方法，通过计算每个 token 的优势和值实现直接优化语言质量指标，取得了在 MSCOCO 数据集上的最先进性能。

    Jun, 2017

  • 预训练语言模型的非自回归式文本生成

    本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.

    Feb, 2021

  • 带因果干预的依赖式多任务学习在图像字幕生成中的应用

    本文提出了一种基于因果干预的依赖多任务学习框架（DMTCI）来解决图像描述生成过程中出现的问题，该框架采用包含类别生成、因果计算和多智能体强化学习策略来提高模型对视觉特征的理解和生成句子的一致性及信息性。实验结果表明，DMTCI 模型优于基准模型，并达到了与最先进模型相媲美的性能。

    May, 2021

  • 指导图像字幕模型生成更具体的字幕

    基于图像的标题生成任务中，我们展示了通过微调自回归标题模型来生成更具体的标题，并且在解码过程中应用语言模型指导，从而在参考自由和参考依据的标题度量指标之间取得一定的平衡。

    Jul, 2023

  • LaDiC：扩散模型在图像生成的文本方面真的不如自回归模型吗？

    Diffusion models have the potential for enhancing image-to-text generation and surpass Auto-Regressive models by introducing LaDiC, which incorporates context modeling, a dedicated latent space for captions, a regularization module, a diffuser for semantic conversion, and a Back&Refine technique, achieving state-of-the-art performance on the MS COCO dataset without pre-training or ancillary modules.

    Apr, 2024