ICLRDec, 2014

利用能量集成学习非确定性表示

PDF
TL;DR本文提出了一种能学习非确定性表示的 stochastic ensemble 模型，通过从模型集合中有条件地采样，能够获得每个输入示例的多个表示，并在 MNIST 的 one-shot learning 场景中进行了测试。
generative modellatent variablesstochastic ensemblerestricted boltzmann machineone-shot learning
发现论文，激发创造
  • 学习基于能量的量子多体态表示

    论文提出了一种新的基于能量的生成量子多体状态表示方法，该方法可以在保留系统已知对称性与结构的情况下，使用一个小数量的参数进行学习，并且可以用于预测物理观测量的期望值

    Apr, 2023

  • 具有能量分布概率评估的深度有向生成模型

    本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

    Jun, 2016

  • 层次指数族能量模型中的神经采样

    Bayesian 脑理论探讨了大脑采用生成模型来理解外界世界。本研究提出了分层指数族能量模型（HEE 模型），用于捕捉推断和学习的动态。通过将分区函数分解为个别层，并利用一组具有较短时间常数的神经元来采样分解归一化项的梯度，我们的模型能够同时估计分区函数并执行推断，避免了常规能量模型中遇到的负相位问题。此外，我们展示神经适应可以作为动量项，显著加快推断过程，以适应大脑的快速计算。在自然图像数据集上，我们的模型展示出与生物视觉系统中观察到的相似表示。此外，对于机器学习社区，我们的模型可以通过联合或边缘生成产生观测数据。我们表明边缘生成优于联合生成，并且与其他能量模型的表现相当。

    Oct, 2023

  • 探究基于能量的神经网络的生成动态

    探讨采用 Restricted Boltzmann Machines 作为深度无监督学习结构的生成神经网络的生成动力学，并通过 RBM 对手写数字数据集进行实验证明从 Chimera 状态启动自上而下的采样可以增加生成多种数字的能力，然而 RBM 的自上而下动力学受到能量函数形状的严重限制。

    May, 2023

  • 基于扩散的表示学习

    提出了一种基于扩散的表示学习方法，通过扩展去噪得分匹配框架实现无监督学习；使用此方法学习无限维潜在码，实现半监督图像分类的最优结果，并通过下游任务的表现比较与其他方法的学习表示质量。

    May, 2021

  • 能量模型中特征多样性

    本文研究能量学习及能量模型，重点关注特征集的多样性和冗余性的影响，利用 PAC 理论推导出各种上下文中的泛化界限，并表明减少特征集的冗余性可以提高模型的性能。

    Jun, 2023

  • 基于能量模型的最大熵生成器

    使用神经生成网络学习能量函数和一种分摊求近似（amortized approximate）的采样机制，结合最近提出的非参数互信息估计器来最大化生成样本的熵，使用必要条件从分数匹配（score matching）文献中衍生出的零中心梯度惩罚来稳定生成的对抗游戏。该技术可以生成与最新的生成对抗网络技术竞争的清晰图像，不会出现模式崩溃，并且在异常检测方面具有与现有技术相媲美的竞争力。

    Jan, 2019

  • 能量基模型下的组合视觉生成与推理

    本文中，我们展示了由能量基模型直接组合概率分布从而展示人类智能的一个重要方面：从简单构想到复杂概念的组合能力。我们的模型能够生成自然图像，同时满足概念的合取、析取和否定等关系。我们在 CelebA 数据集和合成 3D 场景图像上评估了我们模型的组合生成能力，并展示了我们模型的其他优势，如持续学习和整合新概念，或推断图像潜在的概念属性组合。

    Apr, 2020

  • 广义能量基模型

    本文介绍了广义能量模型（GEBM）的产生式建模方法，指出了其在图像生成任务和密度建模任务中的应用和比 GANS 更好的性能表现。

    Mar, 2020

  • 用变分自动编码器学习随机过程的最小表示

    通过无监督机器学习方法，介绍了一种确定有效描述随机过程动态的最小参数集的方法，并展示其在提取精确描述这些动态的最小相关参数方面的效果。此外，该方法可用于生成忠实地复制预期随机行为的新轨迹，从而提高我们对不同领域复杂现象的理解。

    Jul, 2023