- 大型局部队列系统中的稀疏均场负载平衡
利用稀疏均场理论中的最新进展,以可处理的方式学习稀疏连接队列网络中的近似最佳负载平衡策略,从而在高度局部化网络中获得可行的负载平衡方法。
- 深度度量学习中的平均场理论
本文探讨了平均场理论在深度度量学习中的应用,提出了两个新的损失函数 MeanFieldContrastive 和 MeanFieldClassWiseMultiSimilarity,发现在三个图像检索数据集中,这些新的损失函数的表现优于传统 - 基于图注意力的部分可观察性均值场多智能体强化学习
本研究提出了一种使用图形注意力机制的新型多智能体强化学习算法(Partially Observable Mean Field Multi-Agent Reinforcement Learning based on Graph-Attenti - 深度随机神经网络中均值场和有限宽度之间的连接 —— 基于批量归一化的研究
本文研究了多层感知机中深度与均场预测集中性之间的关系,并提出通过批归一化缓解均场预测中的层间误差放大现象,从而建立了无限深度神经网络的均场预测的集中性界限。
- 深度神经网络的扩展临界区
利用长尾随机矩阵与非平衡统计力学理论,提出了 DNN 的新型平均场理论,并发现重尾权重使得 DNN 出现了一个拓展的临界区,体现了丰富的跨层传播动力学,进而赋予 DNN 突出的计算优势,这为设计高效神经网络结构提供了理论指导。
- 多类型均场强化学习
本文提出了多类型平均场多智能体强化学习算法,通过实验评估证明了该算法在 MAgent 框架中的性能明显优于基线算法和假设所有智能体属于相同类型的现有算法。
- 深度学习理论综述:最优控制与动态系统视角
本文基于动态系统和最优控制的视角, 将现有的深度学习理论框架进行整合, 并用随机动态的优化算法作为控制器,为超参数调整提供了一个基于原则的方法。
- 深度信息传播
通过平均场理论研究未经训练的神经网络的行为,并显示相应的深度尺度限制了信号在这些随机网络中传播的最大深度;研究表明,dropout 破坏了有序到混沌临界点,因此强烈地限制了随机网络的最大可训练深度;我们开发了后向传播的平均场理论,证明了有序 - 通过瞬态混沌实现深度神经网络的指数表现能力
本文利用黎曼几何和高维混沌的平均场理论相结合,研究了具有随机权重的通用深度神经网络中信号传播的性质。我们的研究结果揭示了从秩序相到混沌相的表达能力相变,并证明了浅层网络无法高效地计算这种深度随机函数族。此外,我们定量证明了深度网络可以将输入 - MM受限玻尔兹曼机的高级平均场理论
通过 Bethe 近似复杂统计场理论,我们基于平均场理论为 RBM 提供了一种高效的基于消息传递的方法,可以评估分区函数和梯度而无需统计采样,从而消除了对计算上昂贵的采样方法的需求。
- 更多的是相同的;相变与平均场理论
本文研究相变的早期理论,介绍了与统计物理和凝聚态物理有关的一组相关概念,包括奇点、秩序参数、平均场理论和变分方法。
- 信息论:连接有界理性博弈论和统计物理的桥梁
使用产品分布理论,该研究论文提供了游戏理论中的有限理性和统计物理学中联合概率分布的逼近问题的解决方案,并证明了这些主题本质上是同一的。
- Sigmoid 信念网络的平均场理论
本文基于统计力学的思想,发展了一种适用于 Sigmoid 信念网络的均场理论,能够对真实的概率分布进行可追溯的逼近,并提供证据可能性的下限。我们展示了该框架在统计模式识别领域中的实用性,特别是在手写数字分类的基准问题上。