- 基于洗牌配置的无监督学习的站点渗流
应用主成分分析(PCA)和基于无监督学习的自编码器(AE),研究了随机化和选择的渗流图作为神经网络的输入,分析了获得的结果,表明 AE 的单一潜在变量和 PCA 的第一主成分与粒子密度相关。
- 具有化学反应网络集成的生成模型的自治学习
微米级袋状互动分子可以自主学习复杂且波动的环境;通过控制理论、机器学习理论、化学反应网络理论和统计物理学,我们开发了一个通用架构,使得广泛类别的化学系统可以自主学习复杂分布。
- 大规模与无限宽度的深度学习莱休讲座
这篇论文总结了 2022 年 Les Houches 暑期学校上有关深度神经网络无穷宽极限和大宽度区域的讲座,涵盖了这些网络的各种统计和动力学特性。具体来说,讲者讨论了随机深度神经网络的特性、训练后与线性模型、核函数和高斯过程在无穷宽极限中 - 深度异方差回归病理的理解
本文从统计物理的角度研究了使用异方差神经回归模型对实际数据建模时遇到的困难,并且通过推导出的非参数自由能得出结论,证明了二阶段变化的存在,本文提供了异方差回归模型的理论解释,并提出一种优化正则化的方案。
- 稀疏表示、推理和学习
本文介绍了一种可以用于处理弱长程相互作用问题的通用框架,其中包括压缩感知问题或感知器学习问题,框架利用了统计物理学的分析工具来研究其解决方案的基本限制,并提出了解决方案算法,这可以为机器学习提供有益的工具。
- 语法形式的演化:一些数量化方法
通过静态和动态模型,我们使用统计物理学的概念阐述了语法形式演化的两种主要机制:传承机制和接触机制,静态模型强调规则和例外的相对数量,而动态模型则侧重于非正常形式的出现。
- 复杂系统分类的方法:文字、文本等
通过物理学类比,定义了基于温度、化学势、熵等参数的文本分类,提出在语言学类比的基础上,研究基因组的方法,同时讨论了熵作为文本分类参数的作用和意义。
- 机器学习与物理科学
本文综述了机器学习和物理科学之间的接口,包括机器学习的基本概念,如何用统计物理学理解机器学习方法,机器学习方法在粒子物理学、宇宙学、量子物理学、量子计算和化学、材料物理学中的应用,以及加速机器学习的新型计算架构的研究和开发。
- 委员会机器:二层神经网络中学习的计算到统计差距
本研究使用统计物理中的启发式工具定位相变,并计算了多层神经网络中教师 - 学生场景下的最优学习和泛化误差。我们提出了适用于委员会机器的 AMP 算法版本,允许对大量参数进行多项式时间的最优学习,发现存在一些区间,信息理论上可实现低泛化误差, - 能量熵竞争及其对随机梯度下降在机器学习中的有效性影响
研究发现,针对机器学习中许多问题,大多数采用随机梯度下降算法,并能够在实践中实现最佳结果,但通常无法达到全局最小值,其实际效果至今仍是一个谜,本文研究了参数推断和统计物理中的自由能最小化之间的对应关系,证明了宽而浅的极小值在系统欠采样时是最 - 互信息、神经网络与重整化群
利用人工神经网络和信息理论模型的非模型化特点,实现不需要系统的先验知识,识别重要的物理自由度,并演示自然系统中的重要且普遍存在的学习算法。通过对经典统计物理的问题在一维和二维的应用,演示了 RG 流和提取的 Ising 临界指数。说明了机器 - 反问题统计学:从反 Ising 问题到数据科学
该文章介绍了逆向问题在统计物理学中的应用,特别是在生物学领域的大规模数据中的应用,重点关注逆向伊辛问题及其应用,通过给定观测自旋相关性、磁化或其他数据,推断自旋之间的耦合强度。文章回顾了伊辛问题的应用,包括神经连接重建,蛋白质结构测定和基因 - 多层广义线性估计
本文应用统计物理的标准方法,提出了多层近似信息传递算法来重构一个信号从多层(可能是非线性的)测量中,并推导出相关的状态演化方程来分析其性能。文中还介绍了一些这种测量模型在压缩感知、结构化矩阵 / 模式下的感知器学习以及自编码器中潜变量估计的 - 对称秩一矩阵估计的互信息:复制公式的证明
该论文研究如何采用严谨的方法证明低秩矩阵的对称秩一情况的互信息,进而表达最小均方误差和表征检测相位转变;同时介绍了一种被称为近似消息传递的迭代算法在贝叶斯最优条件下的优越性,并提出了通用的解决其他问题的方法。
- MM经典和量子系统中的缓慢弛豫和非平衡动力学
这篇介绍在 Les Houches 暑期物理学院上讲的内容,主要关注非平衡动力学这个热门领域,涵盖了量子系统、凝聚态物理、统计物理等方面的研究,指出非平衡动力学作为整体的研究领域有很多值得学习的地方。
- 演化博弈中的循环优势:一份综述
本文回顾了近期关于石头剪子布及相关进化博弈的研究进展,重点关注了模式形成、移动性的影响以及循环支配的自发涌现,并强调了统计物理对于大规模生态系统研究的重要性和实用性。
- 复杂神经系统与高维数据的统计力学
这篇论文介绍了在统计物理学、计算机科学和神经生物学交叉领域中涌现的模型统计方法,如关联复制和空腔方法,信息传递的概念和其在神经计算和学习中的应用,以期提供更好的理论和技术支持解决神经网络中的复杂计算问题。
- MM大粒子系统在平均场极限下的动力学
本文讲解了如何从基本的微观方程出发,严谨地推导出统计物理学中的平均场演化偏微分方程,并详细介绍了数学方法和不同方法之间的关系,其中特别强调了混沌序列和 BBGKY 层次结构中的混沌传播。
- 稀疏随机图上的吉布斯分布和相变
本文讨论了利用统计物理的启发式方法,研究与计算机科学和信息理论中离散变量的概率分布相关的大型稀疏图的方法和结果。
- MM网络中的社区
本文概述了社区检测的一些概念、方法和应用,介绍了可用的方法论和开放性问题,并讨论了各个领域科学家感兴趣的原因。同时,本文强调了社区检测与统计物理和计算优化问题的关联。