前馈网络中的缩放和重定比对称性
本研究针对深度网络权重空间中的对称性问题，探讨了使用基于单位范数的约束来改善权重空间对称性问题的方法，并通过 MNIST 数据集上的实验证明该方法优于批量归一化方法且不会影响权重更新的计算性能。
Nov, 2015
本文提出了两种基于对称不变梯度的权重更新方式，使用这些方式进行学习可以提高测试性能而不损失权重更新的计算效率。在 MNIST 数据集上，我们的实验证据表明这些更新有效，并且我们还展示了在图像分割问题上采用这些权重更新方法的训练结果。
Nov, 2015
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
本文研究了沿着混乱边缘初始化的深度前馈网络，发现其具有指数级的培训能力。同时探讨了 tanh 激活函数的饱和效果，发现这个效果会影响到混乱边界的训练效率，并提出了最大熵的相空间平衡特性。研究表明，在混乱边缘初始化是实现最优训练能力的必要条件，但不足以满足这个目标。
Apr, 2023
对称性在当代神经网络中普遍存在，本文揭示了损失函数对学习模型的学习行为影响的重要性，证明了损失函数的每个镜像对称性都会带来一种结构约束，当权重衰减或梯度噪音较大时，这种约束成为一种被偏爱的解决方案。作为直接的推论，我们展示了重新缩放对称性导致稀疏性，旋转对称性导致低秩性，置换对称性导致同质集成。然后，我们展示了理论框架可以解释神经网络中可塑性的丧失和各种崩溃现象，并提出如何使用对称性来设计能够以可微分方式实施硬约束的算法建议。
Sep, 2023
通过 15 个不同的分类数据集系统性地调查 BP 算法的对称性依赖程度，研究结果表明：1. 反馈权重的大小对性能没有影响；2. 反馈权重的符号对性能影响显著，符号越一致性能越好；3. 使用随机大小的反馈权重且符号完全一致时，性能相当甚至优于 SGD；4. 需要一些规范 / 稳定化才能使这种不对称 BP 算法起作用，即批量归一化（BN）和 / 或一种 “批量曼哈顿”（BM）更新规则。
Oct, 2015
通过平均场理论研究未经训练的神经网络的行为，并显示相应的深度尺度限制了信号在这些随机网络中传播的最大深度；研究表明，dropout 破坏了有序到混沌临界点，因此强烈地限制了随机网络的最大可训练深度；我们开发了后向传播的平均场理论，证明了有序和混沌相位分别对应于梯度消失和梯度爆炸的区域。
Nov, 2016
通过研究完全连接前馈神经网络和卷积神经网络中的有序到混沌转变，展示了如何将合适初始化的神经网络行为理解为吸收相变中的普适临界现象，并且可以成功应用有限尺度缩放，从而导致了信号传播动力学的半定量描述。
Jul, 2023
本文重点研究了神经网络初始化的尺度问题，发现相对大小和比例关系对最终模型的构建具有重要作用。进而提出了一种新技术求解渐进优化在不同情形下的隐式正则化方法。
Feb, 2021