自回归能量机

Apr, 2019

Autoregressive Energy Machines

Charlie Nash, Conor Durkan

TL;DRAutoregressive Energy Machine 是一种高效的基于能量的神经网络模型，具备在无监督学习中广泛使用的灵活性，可以在不受概率密度限制的条件下计算归一化常数，实现在密度估计任务中的最优表现。

Abstract

neural density estimators are flexible families of parametric models which have seen widespread use in unsupervised machine learning in recent years. Maximum-likelihood training typically dictates that these mode

neural density estimators unsupervised machine learning autoregressive energy machine density-estimation tasks importance-sampling

发现论文，激发创造

Autoregressive 生成模型视为基于能量的模型能够更优化

本文介绍了一种名为 E-ARM 的独特方法，用于训练自回归生成模型。该方法利用了 softmax 操作的额外自由度，使得自回归模型本身成为一种测量输入可能性的基于能量的模型，从而提高了自回归生成模型的效果，并减轻了暴露偏差问题和增加了时间上的一致性。

Jun, 2022

深度能量估计网络

本研究提出了一种基于得分匹配的层次框架的方法，用于建立深度能量估计网络（DEEN），来解决高维数据中的密度估计问题，并成功地通过学习能量和得分函数及单步去噪实现了对复杂数据的处理。

May, 2018

ENGINE: 基于能量的推理网络用于非自回归机器翻译

该研究提出了一种基于能量的推断网络方法，训练非自回归机器翻译模型，以最小化预训练的自回归模型定义的能量，实现了在 IWSLT 2014 DE-EN 和 WMT 2016 RO-EN 数据集上非自回归结果的最佳效果。

May, 2020

自回归神经网络的无偏蒙特卡罗聚类更新

该研究提出了一种使用物理对称性和变尺度聚类更新以消除偏差且方差较低的方法来进行高维概率分布的无偏抽样，测试了其在经典自旋系统的一阶和二阶相变中的可行性。

May, 2021

神经自回归分布估计

本研究提出了使用神经网络模型通过权值共享和概率乘积规则实现无监督分布和密度估计的新方法，并探讨了如何构建深度神经网络在建模二进制和实值观察方面具有竞争力的性能以及如何利用深度卷积神经网络来处理图片中的拓扑结构。

May, 2016

变换自回归网络

本文旨在系统地表征密度估计方法，提出多种新方法，在真实数据和合成数据上进行全面研究，结果表明变量转换和自回归条件模型相结合可以显著提高性能，并将模型用于异常检测和图像建模，最后介绍了一种用于学习分布族的新的数据驱动框架。

Jan, 2018

掩码自回归流密度估计

使用 Masked Autoregressive Flow 构建自回归模型栈，提高神经密度估计的灵活性，达到最先进的性能表现。

May, 2017

自适应流抽样平衡训练能量函数模型

本研究提出一种新的最大似然训练算法，使用正规化流（NF）来提高能量基模型（EBMs）的采样效率及精度。

Jun, 2023

深度自回归网络

本文介绍了一种深度、生成式自编码器，它能够从数据中学习分层式分布式表示。通过基于最小描述长度原理的有效近似参数估计方法，我们证明了该方法在几个经典数据集上取得了最先进的生成性能。

Oct, 2013

通过使用高斯混合模型和遮蔽自回归流进行概率分类

使用密度估计方法的分类器通过使用高斯混合模型和掩码自回归流等方法来建模数据的类别似然度，优于仅使用单个高斯分布的简单分类器。这项研究为提出其他基于联合密度估计的概率分类器打开了研究之门。

Oct, 2023