基于复杂网络理论的深度神经网络:一种观点
本文运用复杂网络理论将 DNN 表示为一个有向带权图,并介绍了一些度量方法,可以研究 DNN 作为动力学系统的性能,并发现度量方法可以区分低性能和高性能网络。
Sep, 2022
本文探讨了全连接前馈神经网络中隐藏节点的激活模式,提出了从两个信息处理系统,即连续性和离散性的角度来看待这种网络分类能力的新方式,并且重点突出了这两者搭配的重要性,为深度学习中神经网络的泛化能力提供了新的思路。
Jan, 2020
利用长尾随机矩阵与非平衡统计力学理论,提出了 DNN 的新型平均场理论,并发现重尾权重使得 DNN 出现了一个拓展的临界区,体现了丰富的跨层传播动力学,进而赋予 DNN 突出的计算优势,这为设计高效神经网络结构提供了理论指导。
Mar, 2022
本文提出了一种基于拓扑结构优化神经网络连接性的方法,通过为边分配可学习参数并施加稀疏约束,更聚焦有关键作用的连接,并获得在图像分类和目标检测等任务中的显著改善。
Aug, 2020
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化,并使用拓扑数据分析和持久性同调分形维数的概念,通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验,为可解释的和可解释的 AI 的发展做出了贡献。
Jun, 2023
本文介绍了一种基于 Tychonoff 拓扑空间的拓扑神经网络和利用 Borel 测度作为数据的分布式神经网络,证明了它们的正确性,并说明了它们是深度学习中 deep sets 的一种一般化。
May, 2023
Topological Deep Learning 解决复杂系统数据处理与知识提取的框架,但目前 Topological Neural Network 研究缺乏统一的符号和语言。本文提供对 TDL 可访问的介绍,并使用统一数学和图形符号比较最近发表的 TNN。通过对 TDL 领域的直观和批判性评估,提取有价值的见解,为未来发展提供激动人心的机遇。
Apr, 2023
复杂值神经网络(CVNNs)涵盖了波状信息和频域处理的不同结构和分类,并解释了复杂激活函数、复杂可微性的相关含义以及 CVNN 输出层的特殊激活。还讨论了使用基于梯度和非梯度的算法进行 CVNN 学习和优化的情况。此外,通过 Wirtinger 微积分术语解释了利用复杂链规则的复杂反向传播。还讨论了用于构建 CVNN 模型的特殊模块,如复杂批归一化和复杂随机初始化。该工作还强调了提出的用于 CVNN 实现的库和软件模块,并讨论了未来的发展方向。本研究的目标是理解 CVNN 的动态和最新发展。
Dec, 2023
本文提出了一个名为 BN-GNN 的新型脑网络表示框架,使用深度强化学习技术训练元策略以自动确定给定脑网络所需的最优特征聚合数量(反映在 GNN 层数中),并在八个现实世界脑网络数据集上进行了广泛实验。结果显示,相对于传统 GNN,在不同的脑网络分析任务上,BN-GNN 对性能的提升更加显著。
Mar, 2022