深度神经网络作为复杂网络
通过复杂网络理论和统计物理结合,此研究工作扩展了现有的复杂网络度量指标,从纯拓扑分析转变为与深度学习可解释性相关的分析方法,提供了探究深度神经网络的物理根源,超越传统的输入 - 输出关系和复杂网络拓扑分析。
Apr, 2024
利用长尾随机矩阵与非平衡统计力学理论,提出了 DNN 的新型平均场理论,并发现重尾权重使得 DNN 出现了一个拓展的临界区,体现了丰富的跨层传播动力学,进而赋予 DNN 突出的计算优势,这为设计高效神经网络结构提供了理论指导。
Mar, 2022
复杂值神经网络(CVNNs)涵盖了波状信息和频域处理的不同结构和分类,并解释了复杂激活函数、复杂可微性的相关含义以及 CVNN 输出层的特殊激活。还讨论了使用基于梯度和非梯度的算法进行 CVNN 学习和优化的情况。此外,通过 Wirtinger 微积分术语解释了利用复杂链规则的复杂反向传播。还讨论了用于构建 CVNN 模型的特殊模块,如复杂批归一化和复杂随机初始化。该工作还强调了提出的用于 CVNN 实现的库和软件模块,并讨论了未来的发展方向。本研究的目标是理解 CVNN 的动态和最新发展。
Dec, 2023
本文探讨了全连接前馈神经网络中隐藏节点的激活模式,提出了从两个信息处理系统,即连续性和离散性的角度来看待这种网络分类能力的新方式,并且重点突出了这两者搭配的重要性,为深度学习中神经网络的泛化能力提供了新的思路。
Jan, 2020
该论文介绍了一种新的神经网络模型,通过将网络结构化为一个完整的有向图,为每个时间步骤处理连续数据,更加密切地模拟生物大脑。该模型通过在神经元连接中引入循环并消除其他网络层中常见的顺序性质,添加了额外的结构特性。此外,该模型具有连续的输入和输出,受到脉冲神经网络的启发,使得网络能够学习分类过程,而不仅仅返回最终结果。
Jan, 2024
本文综述了近期在文献中对 CVNNs 的各种工作,并详细研究了各种 CVNNs 的激活功能、学习与优化、输入和输出表示,以及在信号处理和计算机视觉等任务中的应用,同时探讨了一些挑战和未来研究方向。
Jan, 2021
深度连续网络(DCNs)结合了空间连续滤波器和神经 ODE 的连续深度框架,能够学习滤波器的空间支持以及特征图的持续演化,与生物模型密切相关。DCNs 在标准图像分类和重构问题中具有多功能且广泛适用,可以提高参数和数据效率,并允许元参数化。我们展示了 DCNs 学习的尺度分布的生物合理性,并研究了它们在神经科学启发的模式补全任务中的性能。最后,我们通过改变输入对比度来实现 DCN 的高效实现。
Feb, 2024