- 统计力学与人工神经网络：原理，模型和应用
神经科学，人工神经网络，统计力学，Hopfield 网络和 Boltzmann 机器是人工神经网络领域的主要研究课题。通过研究人工神经网络中的丢失函数的几何特征和可视化方法，可以提高其优化行为、泛化能力和整体性能。
- 利用概率计算机辅助的均场深度玻尔兹曼学习
利用概率计算机（p-computer）和意味场理论（Mean-Field Theory）辅助学习算法，该研究提出了用于训练难以处理的波尔兹曼机（Boltzmann Machines）的方法以及在可扩展的伊辛机器（Ising machines - 带有正则化轴突的玻尔兹曼机的通用表征
通过对玻尔兹曼机的连接进行正则化，我们证明了正则化玻尔兹曼机能够表示任意分布，并且控制能量局部极小值的数量，从而实现了简化的采样和训练，同时能够存储指数级的任意相关可见模式，并与稠密关联记忆网络相关联。
- 结构化信用分配与协调探索
使用 Boltzmann 机器或经常性网络进行协调探索，从而加快多个基于 REINFORCE 的随机和离散单元的训练速度，甚至超过直接传递估计器 (STE) 反向传播算法。
- 带有种植模式的 Hopfield 模型：教师 - 学生自监督学习模型
借助 Boltzmann 机的适当泛化 Hopfield 模型的结构化模式，构建了一个教师 - 学生自我监督学习问题模型，通过研究相图性质以及训练集大小，数据集噪声和推断温度对学习性能的影响，机器可以通过记忆来学习，并实现泛化学习。
- ICML无向图模型作为近似后验分布
本研究主要探讨了如何使用无向图模型来训练近似后验概率，在离散的 VAE 中使用 Boltzmann machines 作为近似后验概率的效果优于之前使用有向图模型的结果。
- NIPS具有松弛玻尔兹曼先验的离散变分自编码器
本研究探讨将 Boltzmann 机器生成式模型松弛为连续分布，使得可以使用更紧的重要性加权下界（importance-weighted bound）用于离散自编码器（discrete VAEs）的训练，并且在 MNIST 和 OMNIGL - GumBolt：将 Gumbel 技巧扩展到 Boltzmann 先验
该论文提出了一种名为 GumBolt 的模型，它扩展了 Gumbel 技巧来处理 VAEs 中的 Boltzmann 机先验，并在离散潜变量范围内的 MNIST 和 OMNIGLOT 数据集上实现了最先进的性能和重要性加权估计的日志似然训练 - IJCAI时间序列的玻尔兹曼机
本文综述了针对时间序列扩展的玻尔兹曼机，介绍了后向传递算法通过时间学习参数的实现。此外，为了解决在线学习中 BPTT 的计算复杂度随着时间序列长度的线性增长的问题，介绍了动态玻尔兹曼机（DyBM）及其基于时间本地性的学习规则，该规则与生物神 - ICML统计流形上的张量平衡
利用牛顿法解决了张量平衡的问题，进而实现了概率分布投影，并证明了算法的正确性和适用性，能够适用于多种统计和机器学习模型，如加权 DAG 和玻尔兹曼机。
- 可逆逻辑的随机 p 位
使用随机单元（如 p 位元）和混合设计实现了可逆的布尔逻辑门和 BM 加法器，同时保持了高度准确性和可逆性。
- 前馈初始化对深度生成网络快速推断的生物性可行性研究
探讨了深层次的生成模型，其中计算是既反复又随机的，但循环不是为了模拟顺序结构，而是为了执行计算，并提出了一种简单的前馈计算方法，可用于推断，使得循环神经网络非常接近网络动力学的固定点。
- 神经网络的统计力学表述探究
通过统计力学的视角，提出了在吸引子网络方面的 Hopfield 网络和 Boltzmann 机之间的相似性，并给出了恢复 Hebbian 范式的两种替代方法。同时，强调了铁磁体和运算放大器以及反铁磁体和触发器之间的映射。
- 基于无度量的自然梯度算法用于玻尔兹曼机联合训练
本文介绍了度量自由自然梯度（MFNG）算法用于训练玻尔兹曼机，并通过联合训练三层深玻尔兹曼机的任务验证了 MFNG 的更快收敛速度。
- 稀疏组受限玻尔兹曼机
本文提出了基于 l1/l2 正则化的稀疏组受限玻尔兹曼机，该方法不仅能够在组和隐藏单元级别上实现稀疏性，同时在图像、手写数字和图像分类等任务中取得更好的成绩，并在 MNIST 数据集上实现了 0.84% 的误差率，是目前公布的最佳结果。