ICLRSep, 2019

组合优化的学习表示组合

PDF
TL;DR本研究提出了一种新方法，使用受限玻尔兹曼机（RBMs）来解决组合优化问题，从而有效地绕过在大型 RBMs 中学习的问题，并创建一个能够建模大型复杂多模态空间的系统。研究结果表明，这种方法可以有效地解决布尔可满足性问题和其他组合优化问题，对于相同的样本大小，这种方法可以提供比完全训练模型更准确的结果。
restricted boltzmann machinescombinatorial optimizationmarkov chain monte carloboolean logicmulti-modal space
发现论文，激发创造
  • 快速且准确地训练和抽样受限波尔兹曼机

    通过凸优化过程将数据集的主要方向整合到低秩 RBM 中，从而通过静态蒙特卡罗过程实现平衡分布的高效采样，成功训练 RBM 来捕捉之前方法失败的高度结构化数据集中的全部多样性，并提出了一种新的采样方法 - 平行轨迹调整，使得能够比之前的 MCMC 方法更快地采样训练模型的平衡分布并更好地估计对数似然。

    May, 2024

  • 使用词观察值训练受限玻尔兹曼机

    本文描述了如何使用更高效的马尔可夫链蒙特卡罗算子来训练受限玻尔兹曼机 (RBM)，以有效地处理自然语言处理中的高维度多项式观察值，通过在数百万个单词 n-gram 上训练 RBM，并使用所学特征来提高分块和情感分类任务的性能，从而实现了后一项的最新成果。

    Feb, 2012

  • 混合变量受限玻尔兹曼机

    本文介绍了一种用于混合变量的 Restricted Boltzmann Machines 模型，可以同时建模多种类型和多样性的变量，并使用潜在二进制变量对变量之间的依赖性进行建模，支持在许多常见任务中使用，包括预处理、分类、回归和数据补全，同时在一个大规模数据集上进行了实验验证。

    Aug, 2014

  • 用受限玻尔兹曼机加速蒙特卡罗模拟

    本文提出了将人工神经网络用于蒙特卡罗方法的改进，使其在统计物理问题中的混合时间得以加速，具体应用于 Falicov-Kimball 模型，并在其相变点附近展示了接受比率和自相关时间的提高。

    Oct, 2016

  • 使用 RBM 神经网络精确表示多体相互作用

    本文介绍了如何利用 Restricted Boltzmann Machines 模型表示多体系统的相互作用，并且通过离散辅助场将多体接触相互作用分解成一体算子，该方法可以扩展到更复杂的理论中，并提出了该方法在量子退火应用中的一些可能的应用以及如何通过机器学习来优化 RBM 参数。

    May, 2020

  • 使用 Frank-Wolfe 学习无限 RBMs

    本文提出一种无限受限玻尔兹曼机，其最大似然估计对应于一个约束的凸优化问题，并采用 Frank-Wolfe 算法解决该问题，这提供了一种可以解释为在每次迭代中插入一个隐藏单元的稀疏解，从而优化过程类似于不断增加复杂度的有限模型序列。因此，也可以用于识别适当数量的隐藏单元来进行优化。这种模型还可以用作传统最先进的 RBM 训练算法（如对比散度）的初始化，导致具有比随机初始化更高的测试似然的模型。

    Oct, 2017

  • 使用受限波尔兹曼机进行组合优化的可扩展性

    本研究将生成性神经网络 RBM 集成到 EDA 中，通过实验发现 RBM-EDA 在解决组合优化问题时对于大规模或复杂问题具有更快的 CPU 时间，更少的建模时间，表明使用生成性神经网络用于组合优化具有潜在的优势。

    Nov, 2014

  • 使用贪婪的量子搜索学习受限玻尔兹曼机

    我们提出了相应的量子算法来解决 Restricted Boltzmann Machines 结构学习问题，并证明这些算法相对于经典算法在这两类 RBMs 的结构学习中具有多项式加速。

    Sep, 2023

  • 利用矩阵乘法解决 MaxSAT 问题

    我们提出了一种针对神经网络加速器（如 GPU 和 TPU）运行的不完全的最大可满足性（MaxSAT）算法，该算法通过构建具有指数数量布尔赋值的平衡分布的受限玻尔兹曼机（RBM）来解决 MaxSAT 问题，使用并行马尔可夫链中的块 Gibbs 采样来随机搜索赋值空间，同时通过在 CPU 上运行基于单位传播的启发式算法对采样的赋值进行定期优化。我们的方法在 MaxSAT 的算法硬件协同设计空间中提供了一个新的设计点，并且在各年度 MaxSAT 评估竞赛的部分问题实例中显示出出色的表现。

    Nov, 2023

  • 离散受限玻尔兹曼机

    介绍了离散受限玻尔兹曼机，其是一种具有双分区交互的可视和隐藏离散变量的概率图模型，阐述了这些模型中的推断函数和分布式表示，以及它们在所述可视状态的任何概率分布上逼近任何给定精度的隐藏变量数量的界限，并使用代数方法和编码理论计算其维度。

    Jan, 2013