Dec, 2023

使用修正线性型代价函数，在模拟退火中生成能量景观的梯度，以有效解决 0/1 矩阵分解

PDF
TL;DR0/1 矩阵因子分解应用逻辑 AND 和 OR 作为乘积求和运算符，以揭示影响各种决策过程的因素。通过将矩阵因子分解建模为能量最小化问题，并在理论上利用模拟退火方法实现在足够时间内找到最小解。我们利用现代模拟退火机器中可用的修正线性类型代价函数对能量景观应用梯度，从而提高解决过程的效率。在搜索过程中，我们还通过更新代价函数的梯度来快速获得解决方案。通过数值实验，验证了该方法在无噪声人工数据和真实数据上的有效性。
0/1 matrix factorizationlogical andlogical orsimulated annealingenergy minimization
发现论文，激发创造
  • 广义模拟退火

    该研究提出了一种新的随机算法（广义模拟退火），用于在连续的 D 维空间中定义给定的（不一定是凸的）能量 / 成本函数，以计算找到全局最小值。该算法恢复了经典（“Boltzmann 机器”）和快速（“Cauchy 机器”）模拟退火，并且比两者都快。

    Jan, 1995

  • 基于本地能量分布的随机模拟退火超参数确定

    本文介绍一种基于局部能量分布的随机模拟退火超参数确定方法，该方法使用中心极限定理估计局部能量分布，并将正态分布应用于超参数确定，从而将复杂度从 O（n ^ 3）降低到 O（1），在最大割问题的 Gset 和 K2000 基准测试中得到了 98% 最优解的均值。

    Apr, 2023

  • 神经网络能量景观基本无障碍

    研究发现，神经网络的能量场通常是平坦的，在极小值点之间存在足够的容量进行结构性变化，且每个极小值点至少有一个消失的 Hessian 特征值。

    Mar, 2018

  • 在高维线性系统中交替极小能量方法。第二部分：更快的算法和非对称系统的应用

    本文提出了一种快速的基于张量结构的对称正定线性系统求解方法，该方法采用能量函数交替最小化与基函数扩展步骤并结合最陡下降算法，进而实现了全局收敛和高效率求解。

    Apr, 2013

  • 矩阵的灵活多层稀疏逼近及其应用

    该论文介绍了一种算法，旨在通过将相应矩阵近似因式分解为少量稀疏因子，降低应用高维线性算子的复杂度，该方法依赖于近期非凸优化的进展，首先进行详细的解释和分析，然后在字典学习图像去噪和逆问题中展示实验效果。

    Jun, 2015

  • 通过坐标变换改进梯度方法：应用于量子机器学习

    本文介绍了一种基于坐标变换的策略，以加速和改善机器学习优化算法的性能，有效减缓贫瘠高原和局部极小值对算法性能的影响，并在量子机器学习算法的基础上进行了验证和 benchmark，获得了显著的性能提升。

    Apr, 2023

  • 自适应减小平滑的高效 MRF 能量最小化

    考虑 Markov 随机场能量最小化问题的线性规划放松，使用平滑技术缓解原问题的非光滑特性，通过基于松弛主次目标函数的对偶差距的自适应缩减方法，提出了一种避免迭代过程中对平滑参数进行人工调整的策略，能够稳定收敛于全局最优解。

    Oct, 2012

  • 量子退火：一种新的多维函数最小化方法

    这篇论文介绍了使用基于量子退火的方法，在寻找多维函数的最小值方面具有鲁棒性，不需要波函数近似，作者将其应用于发现高达 19 个分子（约 10 万个局部极小值）的 Lennard-Jones 簇的最低能量配置，初步的成功表明这种方法可能成为模拟退火的有效补充。

    Apr, 1994

  • 现代推理技术在结构离散能量最小化问题中的比较研究

    该研究比较了 32 种现代化的最优化技术在计算机视觉中的应用，结果表明，与之前研究不同，多面体方法与整数规划解决方案在运行时间和解决方案质量方面在大范围的模型类型上具有竞争力。

    Apr, 2014

  • 解决梯度下降隐式偏差的矩阵分解方法：贪婪的低秩学习

    通过深度为 2 的矩阵分解及理论和实证证据，我们证明了梯度流（用无穷小初始化）等价于一个简单的启发式秩量化算法，同时对深度大于等于 3 的情况进行了扩展，并证明了深度的优势在于对初始化幅度的弱依赖性，因此这种秩量化更可能在实践中起作用。

    Dec, 2020