May, 2018

推理问题中硬相的玻璃性质

PDF
TL;DR研究了一种算法上难解的相位（hard phase）在推理问题中的表现，特别是在低秩矩阵分解问题的情境下，发现当信噪比低于信息熵的阈值时，后验概率由指数数量的玻璃态组成，AMP 算法的表现在处理这种玻璃态时并没有得到改善。
inference problemsmetastable branchlow-rank matrix factorizationglassy statesapproximate message passing algorithm
发现论文，激发创造
  • 贝叶斯推断问题中的相变类型学

    本文通过对稀疏图上的推理问题的描述和分析，研究了随机块模型的相变以及在信息论上最优化问题变得容易但是在计算上仍具挑战性的的混合硬相位，并阐明了消息传递算法的贝叶斯最优性及其在这些问题中的作用，并通过数值模拟验证了该方法的有效性。

    Jun, 2018

  • 稀疏带宽矩阵估计中的全有或全无统计计算相变

    本文研究在一个稀疏极限下，当底层隐藏向量（构建排名为一的矩阵）非零组成部分数与向量总维数的比例为亚线性，信噪比以适当的速度趋于无穷大时，估计被加性高斯噪声矩阵污染的排名为一的矩阵的统计和计算限制，并证明了渐近互信息的显式低维变分公式，分析了稀疏状态下的近似消息传递算法。对于伯努利和伯努利 - 拉德马赫分布向量，当稀疏度和信号强度满足适当的比例关系时，我们发现渐近最小和算法均方误差的全有或全无相变。在渐近情况下，统计与算法之间的差距发散，表明近似消息传递对于稀疏恢复是非常困难的。

    Jun, 2020

  • 尖晶石张量和简单玻璃模型中的复杂能量景观：波折，局部极小值排列和相变

    研究高维能量景观，并使用 Kac-Rice 方法框架进行分析，以探索平均场玻璃模型的退火复杂性。

    Apr, 2018

  • 推理的统计物理学：阈值和算法

    介绍了推断问题中的相变和统计物理之间的联系，详细阐述了类似 Ising 模型的推断问题，以及解决图和网络上的聚类和稀疏估计问题的应用。

    Nov, 2015

  • 受限低秩矩阵估计：相变、近似信息传递和应用

    本文介绍了一种研究低秩矩阵估计的框架，其中考虑了矩阵分解因素的限制和观察到矩阵的一般输出通道，给出了一个统一的方式研究向量自旋玻璃模型（Spin Glass Model）。文章对低秩矩阵的贝叶斯最优推理过程的相位转变进行了详细的研究，还介绍了相位转变的分类以及它们与算法性能之间的关系。

    Jan, 2017

  • 贝叶斯最优矩阵分解中的相变和样本复杂度

    使用统计力学工具分析了矩阵分解问题的可实现性和计算可处理性，在贝叶斯最优推断设置下计算任意计算时间内可能实现的最小均方误差和有效近似迭代推理算法可以达到的误差。

    Feb, 2014

  • 结构玻璃转变和亚稳态熵

    增加微弱固定场以显式打破遍历性，从而计算玻璃的亚稳态数量及其熵，该熵在临界温度 $T_G < T < T_C$ 范围内的广延性与理想的量热和动力学玻璃转变温度 $T_G$ 和 $T_C$ 相对应。对于非无序模型，给出了亚稳态熵的明确自洽计算。

    Mar, 1995

  • 聚类、稀疏 PCA 和子矩阵定位中的信息论限制和相变

    研究了检测结构化低秩信号矩阵被加性高斯噪声污染的问题，包括在高斯混合模型中的聚类， 稀疏主成分分析和子矩阵定位。通过将第一和第二时刻方法应用于这些 “种植模型” 和零模型之间的似然比来导出阈值的上下界，我们证明了在信号矩阵过于微弱时没有任何算法可以检测其信号。

    Jul, 2016

  • 高维广义线性模型中的最优误差和相变

    本论文研究高维机器学习中常遇到的广义线性模型，利用互信息推导贝叶斯最优估计和广义错误率，并且严谨论证了存在多个可学习区域，这对于算法开发和模型性能评估具有挑战性。

    Aug, 2017

  • 通过近似传递消息估计低秩矩阵

    本文介绍了使用 Approximate Message Passing（AMP）算法结合谱初始化来实现 Bayes-optimal 精度的方法，特别关注了如何应用于低秩矩阵估计问题中，同时讨论了其应用于稀疏低秩矩阵和高斯块模型中的实验结果。

    Nov, 2017