不同神经网络架构中拓扑结构的表征
该研究提出了一种基于拓扑数据分析和图形方法的统计算法,先前的研究对比了模型和大脑中不同区域的表示几何之间的差异,而这种方法强调了表示拓扑和几何的结构, 可以用于模型比较和选择,并可用于探索计算机和神经网络模型之间的关系和相互作用。
Mar, 2022
该论文研究神经网络层内部如何保留拓扑特征。使用拓扑数据分析技术,计算了一个简单前馈神经网络的层表征在类克莱因瓶扭结构变化下的拓扑特征。在较早层,网络看起来近似于同胚,但在较深层时数据的拓扑结构被明显更改,导致持久同调无法计算这些特征。但在具有双射激活函数的网络中,类似的拓扑特征似乎可以更持久地存在。
Jul, 2022
本文在探讨训练机器学习模型时使用拓扑数据分析的特征与使用原始数据的区别,通过神经针线和中心核对齐两种流行度量方法来确定内部表征的相似性,研究表明训练和评估基于拓扑特征的模型与基于原始数据的呈结构性差异,但有时可以通过简单仿射变换来调和这种差异。
Nov, 2022
本文应用拓扑数据分析的前沿技术,通过量化内部表示之间的差异和绘制网络层次结构图等方法,探索了用于图像分类的深度神经网络的可解释性,并提供了实验证据证明这些方法能够捕捉到有关模型过程的可贵结构信息。
Dec, 2022
本文旨在比较和描述神经网络结构在几何和拓扑方面的内部表示和层间数据流动的拓扑和几何动态变化,并使用拓扑数据分析和持久性同调分形维数的概念,通过不同层次的数据集以及卷积神经网络和转换网络在计算机视觉和自然语言处理任务中的各种配置的广泛实验,为可解释的和可解释的AI的发展做出了贡献。
Jun, 2023
探索了拓扑脑表示相似性分析(tRSA),一种推广了脑表示相似性分析(RSA)的几何与拓扑摘要统计的家族,该方法可用于表征脑表示的拓扑特征并在噪音和个体变异性方面具有鲁棒性,在模拟和功能性磁共振成像(fMRI)数据上进行了评估。
Sep, 2023
该研究综述了拓扑数据分析(TDA)在神经网络分析中的应用,并通过使用TDA工具如持久性同调和Mapper来探究神经网络及其数据集的复杂结构和行为。研究讨论了从数据和神经网络中获取拓扑信息的不同策略,并回顾了拓扑信息如何被利用来分析神经网络的特性,如其泛化能力或表达能力。重点讨论了深度学习在对抗检测和模型选择等领域的实际应用。将研究工作分为四个广泛领域:1. 神经网络架构的特征化;2. 决策区域和边界的分析;3. 内部表示、激活和参数的研究;4. 训练动态和损失函数的探索。在每个类别中讨论了几篇文章,并提供背景信息,以帮助理解各种方法。最后,综合研究获得的关键见解,讨论了领域中的挑战和潜在进展。
Dec, 2023
我们详细测试了拓扑数据分析(TDA)的声称,并验证了其优点。我们的结果证实了TDA对异常值的鲁棒性和其解释性,并发现TDA在我们的具体实验中并没有显著提高现有方法的预测能力,同时增加了计算成本。我们研究了与图特征相关的现象,如小直径和高聚类系数,以减轻TDA计算的计算开销。我们的研究结果为将TDA整合到图机器学习任务中提供了宝贵的观点。
Jan, 2024
本研究解决了传统代表性相似性分析(RSA)忽视拓扑信息的问题,提出了一种名为拓扑RSA(tRSA)的新框架,结合几何和拓扑属性来分析神经表征的相似性。研究发现,tRSA能够有效应对噪声影响,并揭示神经计算的阶段,为神经科学、人工智能及复杂生物系统的研究提供了重要的理论和方法学基础。
Aug, 2024