Jun, 2016

通过瞬态混沌实现深度神经网络的指数表现能力

PDF
TL;DR本文利用黎曼几何和高维混沌的平均场理论相结合，研究了具有随机权重的通用深度神经网络中信号传播的性质。我们的研究结果揭示了从秩序相到混沌相的表达能力相变，并证明了浅层网络无法高效地计算这种深度随机函数族。此外，我们定量证明了深度网络可以将输入空间中高度曲率的流形分解成隐藏空间中的平坦流形。
riemannian geometrymean field theorydeep neural networkschaosexpressivity phase
发现论文，激发创造
  • 深度信息传播

    通过平均场理论研究未经训练的神经网络的行为，并显示相应的深度尺度限制了信号在这些随机网络中传播的最大深度；研究表明，dropout 破坏了有序到混沌临界点，因此强烈地限制了随机网络的最大可训练深度；我们开发了后向传播的平均场理论，证明了有序和混沌相位分别对应于梯度消失和梯度爆炸的区域。

    Nov, 2016

  • 利用混沌动力学作为深度神经网络的开发

    本研究揭示了混沌的本质可以在各种先进的深度神经网络中找到，并基于这一发现提出了一种直接利用混沌动力学进行深度学习架构的新方法。通过对不同混沌系统进行系统评估，我们发现我们的框架在准确性、收敛速度和效率方面均优于传统深度神经网络。此外，我们还发现在我们的方案中有短暂混沌形成的积极作用。总体而言，本研究为混沌的整合提供了一条新路径，并洞察了在机器学习和神经形态计算领域中混沌动力学融合的前景。

    May, 2024

  • 深度神经网络的表现力

    本文提出了一种新的神经网络表达性问题的方法，其中基于轨迹长度的一维路径上的输出是一种新颖的表达形式。实验得出：（1）计算的函数复杂度随深度指数增长；（2）所有权重不同，加上轨迹正则化是批标准化的一个更简单的选择，但表现相同。

    Jun, 2016

  • 均场剩余网络：朝向混沌的边缘

    本研究旨在证明，通过添加跳跃连接，残差网络将采用基于解析方法确定的次指数正向和反向动态，从而有效地保护输入空间几何形态和梯度信息流。我们证明理论和实证，Xavier 或 He 方案等通用初始方案不是残差网络的最佳选择。

    Dec, 2017

  • 深度神经网络的有限时间李雅普诺夫指数

    本研究利用深度神经网络和动力学系统之间的类比，计算输入扰动对输出的影响，并展示极大 Lyapunov 指数在输入空间中产生几何结构，这些结构可以认为是深度神经网络在输入空间中构造的几何形状，从而阐明它们学习能力的基本机制。

    Jun, 2023

  • 深度神经网络中的临界性与均匀性

    本文研究了沿着混乱边缘初始化的深度前馈网络，发现其具有指数级的培训能力。同时探讨了 tanh 激活函数的饱和效果，发现这个效果会影响到混乱边界的训练效率，并提出了最大熵的相空间平衡特性。研究表明，在混乱边缘初始化是实现最优训练能力的必要条件，但不足以满足这个目标。

    Apr, 2023

  • 深度神经网络表达能力调查

    本文研究神经网络的表达能力，提出了三种衡量表达能力的自然量，并探讨了神经网络层数与表达能力之间的关系，特别地找出了深度敏感性所在，同时分析了训练和输入 - 输出映射等因素对表达能力的影响。

    Nov, 2016

  • 人工深度神经网络中的吸收相变

    通过研究完全连接前馈神经网络和卷积神经网络中的有序到混沌转变，展示了如何将合适初始化的神经网络行为理解为吸收相变中的普适临界现象，并且可以成功应用有限尺度缩放，从而导致了信号传播动力学的半定量描述。

    Jul, 2023

  • 信号传播的几何动力学预测 Transformer 的可训练性

    深度随机初始化的 transformer 中的前向信号传播和梯度反向传播进行了研究，得出了初始化超参数的简单必要和充分条件，以确保 transformer 的可训练性。

    Mar, 2024

  • 深度神经网络的扩展临界区

    利用长尾随机矩阵与非平衡统计力学理论，提出了 DNN 的新型平均场理论，并发现重尾权重使得 DNN 出现了一个拓展的临界区，体现了丰富的跨层传播动力学，进而赋予 DNN 突出的计算优势，这为设计高效神经网络结构提供了理论指导。

    Mar, 2022