机器学习中的熵
介绍了一种新的基于熵的 Monte Carlo 方法来高效地采样随机约束满足问题的解决方案。通过优化本地熵度量，该方法构建了快速求解器，并展示了其在不同结构的典型约束满足问题上的性能表现。
Nov, 2015
提出了一个信息论框架，将原子尺度模拟、机器学习和统计力学结合起来，通过建立相图、识别稀有事件、对数据集进行优化、以及进行模型无关的不确定性量化，统一描述了原子尺度建模中的信息相关问题。
Apr, 2024
本文分析了受限玻尔兹曼机在统计物理上的训练过程，以小的条纹图案为例，计算了在训练的过程中信息熵、自由能和内能的变化以及可见层和隐藏层之间的互相关性增长，并使用蒙特卡洛模拟计算了能量函数的参数变化对受限玻尔兹曼机所做工的分布，并探讨了 Jarzynski 等式和训练前后自由能差的路径平均指数函数之间的关系。
Apr, 2020
使用神经网络机器学习技术，在辅助场配置上训练三维卷积网络，成功预测了半填充下哈伯模型的磁相图，并利用迁移学习方法预测了磁相的不稳定性扩展到了至少 5% 的掺杂度，显示了在相关量子多体系统中运用机器学习的广阔前景。
Sep, 2016
开发了一种热力学理论用于机器学习系统，与物理热力学系统相似的是，机器学习系统也具有能量和熵的特征。我们引入了温度的概念，并建立了一个基本的热力学框架来处理具有非 Boltzmann 分布的机器学习系统。我们将机器学习系统看作具有不同状态的系统，并将模型训练和更新解释为状态相变的过程。我们将机器学习系统的初始潜在能量描述为模型的损失函数，并遵循最小潜在能量原则。我们推导了系统在相变过程中的温度，突出温度作为系统数据分布和机器学习训练复杂性的重要指标。此外，我们将深度神经网络视为具有全局温度和每层局部温度的复杂热能引擎，并介绍了神经网络的工作效率概念，主要取决于神经激活函数。然后，我们根据工作效率对神经网络进行分类，并将神经网络描述为两种类型的热能引擎。
Apr, 2024
本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。
May, 2018
本文利用统计力学与信息理论的工具，PACBayesian 方法，研究如何在后验概率度量集合上进行凸分析，使用相对熵度量分类模型复杂性和与 Gibbs 后验概率度量的关系等方法提高分类准确率和推广性，并说明了如何推广结果至迁移学习和支持向量机。
Dec, 2007
该研究探讨了机器学习预测在随机数生成器（RNGs）的最小熵估计中的应用，此为密码学应用的关键组件，准确的熵评估对于网络安全至关重要。研究结果表明，这些预测器主要估计平均最小熵，这是这一领域中未被广泛研究的指标，并通过研究平均最小熵与传统最小熵之间的关系，重点关注它们对目标位数的依赖性。通过利用广义二进制自回归模型的数据，展示了机器学习模型（包括卷积和循环长短期记忆层的混合模型以及基于 Transformer 的 GPT-2 模型）在某些情况下优于传统的 NIST SP 800-90B 预测器。我们的研究结果强调了对 RNGs 进行最小熵评估时考虑目标位数的重要性，并突显了机器学习方法在增强熵估计技术以提升密码学安全性方面的潜力。
Jun, 2024
研究发现，针对机器学习中许多问题，大多数采用随机梯度下降算法，并能够在实践中实现最佳结果，但通常无法达到全局最小值，其实际效果至今仍是一个谜，本文研究了参数推断和统计物理中的自由能最小化之间的对应关系，证明了宽而浅的极小值在系统欠采样时是最优的，同时还显示该算法的随机性具有非平凡的相关结构，会使其有偏地偏向于宽的极小值。
Mar, 2018