Apr, 2023

基于掩码生成模型的文本条件采样框架用于文本生成图像

PDF
TL;DR本文提出了一种学习可采样模型的 Text-Conditioned Token Selection（TCTS）方案，通过文本信息的本地化监督来选择最优选项，这样可以提高生成图像的质量和与给定文本的语义对齐度，并引入一种统一的采样策略 Frequency Adaptive Sampling（FAS），以进一步提高图像质量和文本对齐度。我们在各种生成任务中验证了 TCTS 与 FAS 的功效，并展示它在图像 - 文本对齐和图像质量方面显著优于基线，文本条件采样框架可以将原始推理时间缩短 50% 以上，这是继承基线模型的一个重大优势。
token-based masked generative modelstext-conditioned token selectionfrequency adaptive samplingimage-text alignmentfast inference time
发现论文，激发创造
  • 条件式扩散模型文本图像生成

    本文提出一种名为 CTIG-DM 的新方法，它结合了图像条件、文本条件和风格条件来控制样本在图像生成过程中的属性、内容和风格。经过大量的实验，证明 CTIG-DM 能够产生模拟现实世界复杂性和多样性的图像样本，具有很强的潜力用于领域适应和生成包含 OOV（Out-Of-Vocabulary）词的图像。

    Jun, 2023

  • 目标条件抽样：针对多语言神经机器翻译的优化数据选择

    本研究提出了一种名为目标条件采样（TCS）的有效算法，该算法基于构建一个覆盖所有多语数据的采样分布，从而最小化低资源语言的训练损失。实验结果表明，TCS 可显著提高三种测试语言的 BLEU 值，最多可达 2，同时训练开销极小。

    May, 2019

  • 神经文本生成的对比框架

    提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。

    Feb, 2022

  • 基于扰动屏蔽的有效无监督约束文本生成

    无监督约束文本生成的研究提出了 PMCTG 方法，通过在每一步中搜索最佳的编辑位置和操作，提高了生成效果。在无监督设置下，PMCTG 在关键词到句子生成和改写这两个典型任务中取得了新的最佳结果。

    Apr, 2024

  • TAC-GAN - 文本条件辅助分类器生成对抗网络

    本研究提出了 “TAC-GAN” 模型，一种文本到图像的生成对抗网络；相较于以前的方法，该模型使用类信息，能够提高生成样本的多样性并改善其结构一致性，对 Oxford-102 的花卉数据进行训练并通过 Inception-Score 和 MS-SSIM 测评其性能，结果表明其性能超越现有的同类模型，其平均 MS-SSIM 值达到 0.14。

    Mar, 2017

  • 文辞规范，功夫到一半：多样有条件生成的构成取样

    Composition Sampling 提出了用于条件生成的简单而有效的方法，该方法基于最近提出的基于计划的神经生成模型，并通过先采样实体链的组合形式，避免了文本退化，最终在此基础上生成最优的文本，实验证明，该方法是目前生成多样有意义输出的最佳策略。

    Mar, 2022

  • 使用文本驱动的软掩膜进行多模态表征学习

    提出了一个自我监督学习框架中的视觉语言表示学习方法，引入了一种新的操作、损失和数据增强策略，其中将图像中最相关于对应的标题中某个单词的区域进行软掩蔽以生成多样的图像特征，然后通过多模态编码器计算出每个单词的条件视觉注意力来确定与其相关的区域，提出了一个用于图像文本对比学习（ITC）目标的焦点损失，并进行多模态数据增强以进行自我监督学习。

    Apr, 2023

  • 基于视觉概念驱动的文字到图像扩散模型的图像生成

    我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

    Feb, 2024

  • 具有增强采样方案的掩码生成建模

    该论文提出了一种用于掩码非自回归生成建模的新型采样方案，该方案通过解决 TimeVQVAE、MaskGIT 和 Token-Critic 在采样过程中的局限性，显式保证采样的多样性和真实性，并由三个阶段组成：Naive Iterative Decoding、Critical Reverse Sampling 和 Critical Resampling。通过在 UCR 时间序列存档中使用所有 128 个数据集，在无条件采样和类条件采样方面，我们展示了 ESS 的显著性能提升。

    Sep, 2023

  • 利用门控层间协作提升基于 CTC 的语音识别模型

    本文提出一种 Gated Interlayer Collaboration 机制，将文本信息引入语音识别 CTC-based models，提出了一种融合文本表示和声学特征的门单元，并在多个语料库上进行试验，结果表明该方法优于现有的多数基线模型。

    May, 2022