本文提出了一种利用模块化设计原则、通过学习连接来自动优化神经网络架构的算法,在多类图像分类任务中,使用 ResNet 和 ResNeXt 两种常见架构进行实验,结果表明与传统模块连接规则相比,学习连接的方法可以显著提高模型准确性并实现参数数量的节省。
Jul, 2018
本文介绍了如何使用微分拓扑理论来解决 Deep Neural Networks 理论中的三个最基本挑战:表达能力,优化能力和泛化能力,特别是利用流形的微分拓扑模型来阐述 DNN 的损失函数、深度和宽度之间的交互,以及如何通过应用商拓扑来捕捉数据中的无关因素,从而实现对 DNN 架构的研究。
Nov, 2018
在卷积深度神经网络的内部状态上进行拓扑数据分析,以开发对其执行的计算的理解。应用此理解修 改计算以(a)加速计算和(b)改进从一组数字到另一组数字的泛化能力。分析的副产品之一是在图像数据集的新特征上产生几何体,并利用此观察结果开发出一种用于构建许多其他几何体的 CNN 模型的方法,包括由拓扑数据分析构建的图形结构。
本文提出代数拓扑作为数据复杂性量度,并通过实证分析展示了神经网络的拓扑容量在不同数据复杂度下都呈现相变现象,从而将现有理论和完全连接的神经网络架构的选择联系起来。
Feb, 2018
图神经网络在图结构化数据的表示学习任务中具有捕捉局部和全局模式的能力,但是长程和高阶依赖性带来了挑战。为了解决此问题,该论文提出了拓扑神经网络,并引入了基于拓扑结构的消息传递机制和多元关系归纳偏置,以更好地捕捉依赖关系和设计各向异性聚合方法。此外,还介绍了增强型细胞同构网络,通过增加拓扑消息传递机制,使环形结构中的节点组之间能够直接进行交互。
Feb, 2024
提出了一种基于张量微积分和拟达尔文机制的混合模型,用于寻找适合于策略、控制和模式识别任务的拓扑结构,并且能够在早期演化阶段提供适应的拓扑结构,从而在机器人,大数据和人工生命等领域得到应用。
May, 2022
Topological Deep Learning 解决复杂系统数据处理与知识提取的框架,但目前 Topological Neural Network 研究缺乏统一的符号和语言。本文提供对 TDL 可访问的介绍,并使用统一数学和图形符号比较最近发表的 TNN。通过对 TDL 领域的直观和批判性评估,提取有价值的见解,为未来发展提供激动人心的机遇。
Apr, 2023
本文介绍了一个综合性框架,用于描述图神经网络在任何拓扑特征上的拓扑感知能力,并研究了拓扑感知对图神经网络的泛化性能的影响。通过案例研究和实证结果,发现提高图神经网络的拓扑感知能力可能会在结构组之间造成不公平的泛化,同时展示了该框架在解决图主动学习中的冷启动问题上的实际适用性。
Mar, 2024
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化,并使用拓扑数据分析和持久性同调分形维数的概念,通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验,为可解释的和可解释的 AI 的发展做出了贡献。
Jun, 2023
通过拓扑数据分析法,我们提出了一种新颖的深度学习框架,以更好地分割和不确定性评估复杂的细微结构,如生物医学应用中的神经元、组织和血管,为可扩展的标注提供了有力工具。