Sep, 2023

具有增强采样方案的掩码生成建模

PDF
TL;DR该论文提出了一种用于掩码非自回归生成建模的新型采样方案，该方案通过解决 TimeVQVAE、MaskGIT 和 Token-Critic 在采样过程中的局限性，显式保证采样的多样性和真实性，并由三个阶段组成：Naive Iterative Decoding、Critical Reverse Sampling 和 Critical Resampling。通过在 UCR 时间序列存档中使用所有 128 个数据集，在无条件采样和类条件采样方面，我们展示了 ESS 的显著性能提升。
sampling schememasked non-autoregressive generative modelingenhanced sampling scheme (ess)naive iterative decodingcritical resampling
发现论文，激发创造
  • 基于掩码生成模型的文本条件采样框架用于文本生成图像

    本文提出了一种学习可采样模型的 Text-Conditioned Token Selection（TCTS）方案，通过文本信息的本地化监督来选择最优选项，这样可以提高生成图像的质量和与给定文本的语义对齐度，并引入一种统一的采样策略 Frequency Adaptive Sampling（FAS），以进一步提高图像质量和文本对齐度。我们在各种生成任务中验证了 TCTS 与 FAS 的功效，并展示它在图像 - 文本对齐和图像质量方面显著优于基线，文本条件采样框架可以将原始推理时间缩短 50% 以上，这是继承基线模型的一个重大优势。

    Apr, 2023

  • 使用 Token-Critic 改进的遮蔽图像生成

    该论文介绍了 Token-Critic，一个辅助模型，用于指导非自回归生成变压器的采样，该模型可选择要接受和要拒绝和重新采样的 token，结合 Token-Critic，生成变压器在 ImageNet 生成方面优于最近的扩散模型和 GANs，可以在生成图像质量和多样性之间取得良好的平衡。

    Sep, 2022

  • EMS-SD：高效的多样本猜测解码用于加速大型语言模型

    通过提出一种新方法，解决多样本推断速度提高中可变数量的 token 导致效率下降的问题，无需增加计算和内存开销，并且可以处理不一致的样本预测 token 的情况。

    May, 2024

  • 通过提前退出进行投机解码以加速 LLM 推断，并采用汤普森抽样控制机制

    在大型语言模型中，我们提出了一种新的方法，即具有无损加速的早期退出推理（EESD），通过在前 N 层后引入早期退出结构，利用语言模型的一部分生成初步令牌，并通过自蒸馏方法提高初步令牌的质量。我们还引入了一种新的采样机制，利用汤普森采样调节生成过程，自动确定每一轮的初步令牌数量。实验结果表明，与先前的方法相比，我们的方法在解码令牌时具有明显的加速效果。

    Jun, 2024

  • MaskGIT: 掩码生成式图像转换器

    本文提出了一种新的图像合成模型 ——MaskGIT，采用双向 transformer 解码器，通过学习预测随机遮罩的 tokens 并在推理时同时生成全部 tokens，迭代地改进图像以获得高保真度和高分辨率的生成图像，并在 ImageNet 数据集上优于现有模型，同时通过自回归解码加速达到 64 倍，还可轻松扩展到各种图像编辑任务中。

    Feb, 2022

  • 不是所有的图像区域都很重要：用掩码向量量化进行自回归图像生成

    本研究提出了一种新的两阶段框架，包括掩蔽量化 VAE（MQ-VAE）和 Stackformer，在图像生成中减轻冗余感知信息的影响，实现了高效有效的图像生成。

    May, 2023

  • 无监督语音增强的后验采样算法与递归变分自动编码器

    本文中，我们提出了基于循环变分自动编码器（RVAE）的无监督语音增强问题。我们使用高效的采样技术解决了测试时间中涉及的计算复杂度问题，并通过与传统方法进行比较实验证明了这种方法在计算效率和总体性能方面的显著优势。

    Sep, 2023

  • 采样生成隐写术

    本文提出一种新的数据驱动信息隐藏方案，称为采样生成式隐写术（GSS），引入了 Jensen-Shannon 离散度作为评估隐写术安全性的新标准。通过基于生成对抗网络训练的生成器，实现语义图像修复进而嵌入信息。实验结果表明，该方案在定性和定量评估方面具有潜力。

    Apr, 2018

  • 用串行再现链探究 BERT 的先验知识

    本文在认知科学的迭代学习理论的基础上，探索利用串行复制链从 BERT 先验中抽取样本，发现 Generative Stochastic Network（GSN）采样器是地面真实联合分布的唯一一致估计器，其从 GSN 链产生的句子的词汇和句法统计数据与地面真实语料库分布密切匹配，并在大量自然性判断中表现比其他方法更好，从而为从底层开始探测创新奠定了更牢固的理论基础。

    Feb, 2022

  • EAGLE：推测抽样需要重新思考特征不确定性

    EAGLE 是一个简单的框架，可以通过自下而上的特征级联操作实现大型语言模型（LLMs）的无损加速，且生成的文本分布与传统自回归解码相同。

    Jan, 2024