基于预测自回归模型的预测采样

ICMLFeb, 2020

Predictive Sampling with Forecasting Autoregressive Models

Auke Wiggers, Emiel Hoogeboom

TL;DR本论文提出了一种预测采样算法，利用 ARMs 的快速推断能力加速采样，证明其在二元 MNIST 等设置下可显著提高推断调用次数和采样速度。

Abstract

autoregressive models (ARMs) currently hold state-of-the-art performance in likelihood-based modeling of image and audio data. Generally, neural network based ARMs are designed to allow fast inference, but sampling from these models is impractically slow. In this paper, we introduce th

autoregressive models neural networks sampling algorithm likelihood modeling binary mnist

发现论文，激发创造

正确地训练和推断任意阶自回归模型

本文针对任意条件建模中的核心问题，提出了一种针对 Any-Order 自回归模型（AO-ARMs）的新的、有效的训练方法，通过训练一组更小的一元条件分布同时提升性能并保证可计算性，在文本、图像和连续数据等领域中取得了最先进的结果。

May, 2022

自回归模型的有序自编码任意采样

提出了一种新的自回归模型家族，它结合了主成分分析的灵感，允许任何时间进行采样，并将维度有序地组织到一个结构化表示空间中。实验证明，这种方法在减少计算预算的同时，样本质量可以逐渐降低，同时在图像数据中使用仅 60％到 80％的所有潜在维度，几乎没有样本质量损失（通过 FID 度量）。

Feb, 2021

基于自回归生成的后验采样

使用历史数据进行预训练的自回归模型，在新闻推荐任务中通过端到端微调预训练语言模型来处理新闻文章标题文本以提高性能，并在在线决策中展示了能够理解不确定性和主动收集信息以解决环境变化的新的学习算法框架。

May, 2024

深度自回归循环网络的概率预测

该论文提出 DeepAR 方法，通过基于大量相关时间序列训练自回归循环网络模型，实现准确的概率预测，并在多个真实预测数据集上展示了与现有方法相比约 15％的准确度提升。

Apr, 2017

分布平滑改进的自回归建模

通过将随机平滑引入自回归生成建模中，我们在多个数据集上显著改善了现有自回归模型的样本质量，同时在合成数据集上获得了具有竞争力的可能性。

Mar, 2021

VQ-AR: 向量量化自回归概率时间序列预测

该论文介绍了一种新颖的自回归模型 VQ-AR，使用离散表示来预测未来，并在多个时间序列数据集上展示了其能够取得先进的性能。

May, 2022

关于概率序列模型的高效边缘化

使用自回归模型回答超出单步预测的复杂概率查询，包括未来事件的时机和特定事件在另一事件发生之前的可能性。通过开发一类宽泛的、高效的近似技术，对顺序模型中的边缘化进行建模。这些技术仅依赖于对预先训练的自回归模型的下一步条件分布的访问和采样，包括传统参数模型和最近的神经自回归模型。针对离散顺序模型、标记的时间点过程和随机跳跃过程，提出了具体的方法，每个方法都适用于一类明确定义的信息丰富、长程概率查询。

Mar, 2024

通过 Langevin 动力学从自回归模型中进行并行灵活采样

这篇论文介绍了一种新的从自回归模型中采样的方法，提出了使用 Langevin 动力学构建马尔可夫链的方法，将采样过程并行化，并推广到有条件采样。通过将自回归模型作为贝叶斯先验，并使用条件似然或限制，我们可以控制生成模型的输出，应用这些技术于视觉和音频领域的自回归模型，获得了在声源分离、超分辨与修复等任务上有竞争力的结果。

May, 2021

迭代自回归：提高低延迟语音增强模型的新方法

本文介绍了一种简单、有效的技巧，用于训练自回归低延迟语音增强模型，证明了该技术在不同架构和训练场景下均导致了稳定的改进。

Nov, 2022

自回归神经网络的无偏蒙特卡罗聚类更新

该研究提出了一种使用物理对称性和变尺度聚类更新以消除偏差且方差较低的方法来进行高维概率分布的无偏抽样，测试了其在经典自旋系统的一阶和二阶相变中的可行性。

May, 2021