- 基于能量的模型指南：与其他生成模型、采样和统计物理之间的全面评述
能量模型（EBMs）已成为生成模型领域中一个强大的框架，通过与统计力学的原理密切契合，提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解，揭示它们与其他生成模型（如 GAN、VAEs 和正规化流）的联系。我们探讨了对 EBM - 基本操作区域、超参数微调和玻璃性：朝着可解释的训练受限玻尔兹曼机复制理论
我们开发了一个统计力学框架来描述具有二进制可见层和高斯隐藏层的限制玻尔兹曼机，通过利用复制技巧并假设基础序参量具有自平均性（即复制对称性）来训练由噪声实现的单一基准模式的未标记数据集，我们提供了分析和数值证据，表明在超参数空间中存在一个子区 - 统计力学与机器学习理论之间等价框架的代数研究回顾与展望
数理力学和机器学习理论之间的数学等价性是自 20 世纪以来已知的，基于这种等价性的研究为理论物理和统计学习理论提供了新的方法论。本文回顾和展望了机器学习理论中的代数研究，介绍了最近的进展，即正在基于代数学习理论构建人工智能的理论基础。
- 统计力学与人工神经网络：原理，模型和应用
神经科学，人工神经网络，统计力学，Hopfield 网络和 Boltzmann 机器是人工神经网络领域的主要研究课题。通过研究人工神经网络中的丢失函数的几何特征和可视化方法，可以提高其优化行为、泛化能力和整体性能。
- 动力学系统识别的统计力学
从观察到的噪声数据中恢复动力学方程是系统辨识的核心挑战，我们开发了一种统计力学方法来分析稀疏方程发现算法，它通常通过试错选择超参数来平衡数据拟合和简洁性。在这种框架下，统计力学提供了工具来分析复杂性和适应性之间的相互作用，类似于熵和能量之间 - 复杂网络的人工智能：潜力、方法论和应用
复杂网络科学中的人工智能潜在优势、关键研究问题和方法学及应用的综述。
- 神经网络中的高维解流形：基于统计物理的见解
论文概述了统计力学方法在神经网络中的应用，重点讨论了感知器结构、训练误差配置和解空间的平均形状等主题。
- 用类热噪声绘制神经网络景观的地形图
通过采用统计力学的方法，我们研究一个超参数全连接的神经网络分类任务的优化过程，发现该过程与热力学中的温度有类似的波动统计，确定了低误差区域为低维流形，且该维度由决策边界的附近数据点的数量控制，并解释了在高温下主要采样弯曲程度较大的地区的原因 - 随机正常化流
提出了随机归一化流的概念，它是一种在机器学习和统计力学领域中解决概率分布采样问题的方法，具有较快的采样效率和较强的表示能力。
- 机器学习热力学时间箭头
机器学习算法可以使用系统的微观轨迹作为输入来辨别时间箭头的方向，其性能符合非平衡态统计力学所预测的基本极限。算法的决策过程解释了发现了潜在的热力学机制和相关物理观测量。结果表明，机器学习技术可以用于研究非平衡态系统，并最终揭示物理原理。
- Boltzmann 生成器 -- 利用深度学习采样多体系统的平衡态
利用深度学习和统计力学，我们开发了 Boltzmann Generators，它们能够生成代表性的凝聚态物质系统和蛋白质的无偏一次平衡样品。
- ICLR随机梯度下降的涨落 - 耗散关系
通过导出稳态波动耗散关系，我们证明了与随机梯度下降算法中的可测量量和超参数相关的关系，并使用这些关系来自适应地设置训练计划并高效提取丢失函数景观的信息，其可以准确地反映其海森矩阵和各向异性度量的幅度，实验证明了我们的说法。
- ICML深度神经网络中激活函数的平均场理论
本文提出了深度神经网络的统计力学模型，将基于能量的方法和前馈神经网络方法相连接。模型的平均场解给出了一组自然活化函数，包括 Sigmoid、tanh、ReLu 和 Swish，研究表明 Swish 可以优化网络的性能
- 实施 EM 算法的反应网络方案
文章提出了一种基于反应网络的算法来解决统计问题，包括推断环境和最大似然估计等方面，可视为 E.T. Jaynes 的统计力学的统计推断的算法解释。
- 重新思考泛化需要重新审视旧观念：统计力学方法和复杂学习行为
本文介绍了一种超越当前流行的最坏情况的理论控制框架，重新审视神经网络的统计力学的古老理论，并使用一个名为 VSDL 的模型来描述当算法过早停止或输入加噪声时会增加的温度和减少的数据量对深度神经网络的控制效果，进而提供了关于其过度拟合训练数据 - 一般感知流形的分类与几何学
通过统计力学的理论，研究了一个读出网络从感知流形表示中分类对象的能力，并开发了一种能解释来自神经元反应的对象刺激数据统计力学的线性分类模型框架。
- 多层神经网络中指数衰减的次优局部极值
通过证明，使用具有分段线性单元、单输出和二次损失的一层隐藏层的 MNN，在标准正常输入和更现实的数量的隐藏单元情况下，可以消失指数数量的不同可微区域的的局部最小值，以及通过数值演示达到的结果，发现在 CIFAR 上只有 16 个隐藏神经元时 - NIPS有限时间下的人类决策
通过统计力学和信息论的思想，实验测试了资源限制下有限理性决策的正式化预测，并将该模型参数分解为受试者预期效用函数和资源参数，结果显示人类在面对资源限制时逐渐回退到他们学习的先前选择模式。
- 神经网络的统计力学表述探究
通过统计力学的视角，提出了在吸引子网络方面的 Hopfield 网络和 Boltzmann 机之间的相似性，并给出了恢复 Hebbian 范式的两种替代方法。同时，强调了铁磁体和运算放大器以及反铁磁体和触发器之间的映射。
- 用贝叶斯方法对一位压缩感知进行信号重建
本文提出了一种贝叶斯方法来解决 1 比特压缩感知问题的信号重建，并使用统计力学分析了其性能。其中，利用信念传播算法进行信号重建的数值实验结果与理论分析结果一致。