卷积神经网络激活层拓扑结构实验观察
该研究综述了拓扑数据分析(TDA)在神经网络分析中的应用,并通过使用 TDA 工具如持久性同调和 Mapper 来探究神经网络及其数据集的复杂结构和行为。研究讨论了从数据和神经网络中获取拓扑信息的不同策略,并回顾了拓扑信息如何被利用来分析神经网络的特性,如其泛化能力或表达能力。重点讨论了深度学习在对抗检测和模型选择等领域的实际应用。将研究工作分为四个广泛领域:1. 神经网络架构的特征化;2. 决策区域和边界的分析;3. 内部表示、激活和参数的研究;4. 训练动态和损失函数的探索。在每个类别中讨论了几篇文章,并提供背景信息,以帮助理解各种方法。最后,综合研究获得的关键见解,讨论了领域中的挑战和潜在进展。
Dec, 2023
我们详细测试了拓扑数据分析(TDA)的声称,并验证了其优点。我们的结果证实了 TDA 对异常值的鲁棒性和其解释性,并发现 TDA 在我们的具体实验中并没有显著提高现有方法的预测能力,同时增加了计算成本。我们研究了与图特征相关的现象,如小直径和高聚类系数,以减轻 TDA 计算的计算开销。我们的研究结果为将 TDA 整合到图机器学习任务中提供了宝贵的观点。
Jan, 2024
通过离散拓扑学和微分几何的概念,我们提出了一种从复杂点云中提取节点级拓扑特征的新方法,并验证了这些拓扑点特征在合成和真实数据上的有效性以及其对噪声的鲁棒性。
Jun, 2024
本论文介绍了一种利用拓扑数据分析法(TDA)分析语音的新方法,通过引入一系列从 Transformer 注意力映射和嵌入中得出的拓扑和代数特征,展示了建立在这些特征之上的简单线性分类器优于微调分类头的表现,并展示了拓扑特征能够揭示语音 Transformer 头的功能角色。
Nov, 2022
在卷积深度神经网络的内部状态上进行拓扑数据分析,以开发对其执行的计算的理解。应用此理解修 改计算以(a)加速计算和(b)改进从一组数字到另一组数字的泛化能力。分析的副产品之一是在图像数据集的新特征上产生几何体,并利用此观察结果开发出一种用于构建许多其他几何体的 CNN 模型的方法,包括由拓扑数据分析构建的图形结构。
Nov, 2018
拓扑数据分析(TDA)是一种使用拓扑学技术对复杂的多维数据进行分析的数学方法,在医学、材料科学、生物学等多个领域得到了广泛且成功的应用。本综述总结了 TDA 在工业制造和生产(工业 4.0 背景下)领域的最新研究现状,并以工业生产和制造的背景为基础进行了严谨且可复现的文献调查,对研究结果进行了聚类分析,重点介绍了 TDA 在该领域的关键优势和挑战,以及未来的潜力。最后,讨论了在工业及其应用领域中对 TDA 方法的低利用程度,并旨在推动该利润丰厚的应用领域的更多研究。
Oct, 2023
使用拓扑数据分析和谱嵌入方法进行 Windows 日志中的异常检测,这种方法可以比标准的事件计数嵌入方法更好地分类异常日志,并在可能成为异常检测可解释框架的方法方面讨论了其潜在应用。
Apr, 2022