ICLRFeb, 2021

自回归模型的有序自编码任意采样

PDF
TL;DR提出了一种新的自回归模型家族，它结合了主成分分析的灵感，允许任何时间进行采样，并将维度有序地组织到一个结构化表示空间中。实验证明，这种方法在减少计算预算的同时，样本质量可以逐渐降低，同时在图像数据中使用仅 60％到 80％的所有潜在维度，几乎没有样本质量损失（通过 FID 度量）。
发现论文，激发创造
  • 基于预测自回归模型的预测采样

    本论文提出了一种预测采样算法，利用 ARMs 的快速推断能力加速采样，证明其在二元 MNIST 等设置下可显著提高推断调用次数和采样速度。

    Feb, 2020

  • 具有辅助解码器的分层自回归图像模型

    提出使用离散表示图像的方法，可以让基于自回归的生成模型输出具备更好的大规模连贯性，在 ImageNet 数据集上进行实验，证明了分层条件自回归模型可以在 128×128 和 256×256 的分辨率上生成逼真的图像。

    Mar, 2019

  • 辅助导向自回归变分自动编码器

    本文提出了一种训练程序，它基于辅助损失函数来控制潜变量所捕获的信息以及留给自回归解码器的信息，该方法可以实现任意强大的自回归解码器，达到具有潜变量的模型中最先进的定量性能，并生成定性令人信服的样本。

    Nov, 2017

  • 实现逼真音乐生成的挑战：在规模上对原始音频进行建模

    本文探讨了采用自回归离散自编码器（ADAs）来模拟音乐块之间的长期依赖关系的方法，实现了在原始音频域中生成具有风格一致性的钢琴音乐。

    Jun, 2018

  • 通过 Langevin 动力学从自回归模型中进行并行灵活采样

    这篇论文介绍了一种新的从自回归模型中采样的方法，提出了使用 Langevin 动力学构建马尔可夫链的方法，将采样过程并行化，并推广到有条件采样。通过将自回归模型作为贝叶斯先验，并使用条件似然或限制，我们可以控制生成模型的输出，应用这些技术于视觉和音频领域的自回归模型，获得了在声源分离、超分辨与修复等任务上有竞争力的结果。

    May, 2021

  • 潜在自回归源分离

    本论文介绍了一种名为 LASS 的矢量量化潜在自回归源分离方法，通过贝叶斯公式和构建离散概率密度函数来实现无需额外微调和修改现有模型即可将输入信号分离成其成分源，该方法在图像和音频分离方面表现出具有竞争力的结果。

    Jan, 2023

  • 迭代自回归：提高低延迟语音增强模型的新方法

    本文介绍了一种简单、有效的技巧，用于训练自回归低延迟语音增强模型，证明了该技术在不同架构和训练场景下均导致了稳定的改进。

    Nov, 2022

  • 正确地训练和推断任意阶自回归模型

    本文针对任意条件建模中的核心问题，提出了一种针对 Any-Order 自回归模型（AO-ARMs）的新的、有效的训练方法，通过训练一组更小的一元条件分布同时提升性能并保证可计算性，在文本、图像和连续数据等领域中取得了最先进的结果。

    May, 2022

  • 分布平滑改进的自回归建模

    通过将随机平滑引入自回归生成建模中，我们在多个数据集上显著改善了现有自回归模型的样本质量，同时在合成数据集上获得了具有竞争力的可能性。

    Mar, 2021

  • 并行计划采样

    本文介绍了一种简单的方法，通过时间并行化可以减轻固定顺序随机替换预测值的 “计划采样”，并在图像生成、文本摘要、对话生成和翻译等任务中实现与传统教师强制训练相当或更好的性能。

    Jun, 2019