从动力系统理论的角度考虑神经网络,本文回顾了有关特定模型下以下问题的最新结果:1. 集体动力学的表征;2. 数据分析中脉冲列的统计分析;3. 动力学与网络结构的相互作用;4. 突触可塑性效应。
Jan, 2009
介绍了一种名为 DMFT 的物理工具,并使用通用随机神经网络作为例子,展示了 DMFT 的本质和基础物理。同时,同时讨论了相应的变体方法,比如动态空腔方法,并且详细介绍了求解 DMFT 方程的数值实现以及相关的应用和研究。
May, 2023
本文从初始阶段、中间阶段和最终阶段三个方面,从概率角度论证了深度神经网络中 “频率原理” 的普适性,解释了 DNNs 的训练过程,并为深入理解 DNNs 的训练过程提供了理论基础。
Jun, 2019
研究了深度为二的神经网络是否可以使用梯度下降学习另一个深度为二的网络,并且通过电动力学的方式证明了梯度下降算法是否能够收敛到目标函数中。基于此,证明了存在一种激活函数,使得梯度下降学习至少一个目标网络中的隐藏节点,并且可以通过迭代的方式逐步学习整个网络。
Feb, 2017
通过统计学习理论的通用结论,我们提出了一个模型,即通过采样网络结构的后验分布,突触可塑性和神经元网络可以进行概率推断,这个模型比现有的模型更好地解释了网络可塑性的随机特性对神经可塑性的影响。
Apr, 2015
该论文研究使用 Hamiltonian Monte Carlo 算法进行概率推断在大脑皮层中的动态行为,并阐明了皮层计算的效率在于神经振荡的加速在推断方向上的重要性。
Jul, 2014
通过生物学上的神经元网络组合中的多种互补机制,可以在人工神经网络中实现连续学习。
Apr, 2023
该研究论文讨论了神经元和神经元网络在大量噪声的外界环境中如何可靠地进行信息传输,并提出平衡突触连接来实现强大的稳健性的观点。
May, 2017
通过将神经网络视为一种随时间推移的动力系统,我们发现网络的输运映射中存在低动能位移偏差,并将其与泛化性能相关联,从而提出了一种新的学习算法,该算法可自动适应给定任务的复杂度,并在低数据情况下产生具有高泛化能力的网络。
Sep, 2020
本研究旨在探究如何最优地分布受体,提高自主神经系统在不同统计情况下的处理信息的能力,并在视觉系统的基础上解释行为型魏伯 - 费希纳定律。
Jul, 2016