Jul, 2024

面向可穿戴传感器数据的拓扑持久性引导知识蒸馏

PDF
TL;DR为了解决深度学习方法在活动识别中的限制和难题，我们提出了一种利用拓扑数据分析的拓扑特征与深度学习方法结合的方法，通过使用两个教师网络，一个基于原始时间序列数据，另一个基于拓扑数据分析的持久图生成的数据，辅助学生模型在测试时只使用原始时间序列数据。该方法利用多个教师的互补信息，生成具有强监督特征和更丰富整合的紧凑模型，并通过设计新的约束条件和知识蒸馏技术快速提高饱和度，改善特征表达能力，减小教师与学生之间的知识差距，最终形成了一个具有鲁棒性的学生模型，只采用时间序列数据作为输入，隐式地保留了拓扑特征。
发现论文，激发创造
  • 利用拓扑引导改进知识蒸馏

    利用拓扑数据分析和知识蒸馏提高图像分类任务性能的方法。

    Jul, 2024

  • 拓扑深度学习：新兴范式综述

    本文综述了拓扑深度学习领域，回顾了拓扑数据分析的核心概念，探讨了如何将 TDA 技术融入到不同方面的深度学习中，并讨论了拓扑深度学习的挑战和未来前景。

    Feb, 2023

  • 基于点云的节点级拓扑表示学习

    通过离散拓扑学和微分几何的概念，我们提出了一种从复杂点云中提取节点级拓扑特征的新方法，并验证了这些拓扑点特征在合成和真实数据上的有效性以及其对噪声的鲁棒性。

    Jun, 2024

  • 融合拓扑数据分析与卷积神经网络的研究

    基于拓扑数据分析（TDA）和卷积神经网络（CNN），本文提出了一种名为 TDA-CNN 的特征融合方法，通过融合 CNN 提取的数值分布特征和 TDA 提取的拓扑结构特征来改善 CNN 的特征学习和表示能力。TDA-CNN 通过适应性学习每个特征的重要性权重，并在 Intel Image、Gender Images 和 Chinese Calligraphy Styles 数据集上进行实验证明，相对于 VGG16、DenseNet121 和 GoogleNet 网络，TDA-CNN 的性能提升分别为 17.5%、7.11% 和 4.45%，TDA-CNN 展示了改进的特征聚类和重要特征识别能力，有效增强了模型的决策能力。

    Jun, 2024

  • 基于持久性加权高斯核的拓扑数据分析

    本文提出一种基于 persistence diagrams 的核方法，用于发展统计学框架，该方法具有稳定性和快速逼近技术，并在蛋白质和氧化物玻璃的实际数据中证明了其比其他相关方法更具优势。

    Jan, 2016

  • 卷积神经网络激活层拓扑结构实验观察

    本文应用拓扑数据分析的前沿技术，通过量化内部表示之间的差异和绘制网络层次结构图等方法，探索了用于图像分类的深度神经网络的可解释性，并提供了实验证据证明这些方法能够捕捉到有关模型过程的可贵结构信息。

    Dec, 2022

  • 一种快速的拓扑方法以预测动态图中的异常

    本文提出了一种基于 persistent diagram、lower-star filtration 和 Betti 函数的方法，可以高效地从时变图数据中提取形状信息，并在模拟研究和实际数据应用中表现出优越的性能，尤其是对于变点检测和加密货币网络异常价格预测。

    May, 2023

  • 基于拓扑特征和神经网络的图像分类

    通过持续同调方法，将拓扑学特征与深度学习特征相结合，用于多类别分类任务，对 MNIST 数据集进行分析和评估，发现拓扑信息可以提高神经网络的准确性。

    Nov, 2023

  • 时空图卷积网络上的知识蒸馏用于交通预测

    使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。

    Jan, 2024

  • 神经网络分析的拓扑数据分析综述

    该研究综述了拓扑数据分析（TDA）在神经网络分析中的应用，并通过使用 TDA 工具如持久性同调和 Mapper 来探究神经网络及其数据集的复杂结构和行为。研究讨论了从数据和神经网络中获取拓扑信息的不同策略，并回顾了拓扑信息如何被利用来分析神经网络的特性，如其泛化能力或表达能力。重点讨论了深度学习在对抗检测和模型选择等领域的实际应用。将研究工作分为四个广泛领域：1. 神经网络架构的特征化；2. 决策区域和边界的分析；3. 内部表示、激活和参数的研究；4. 训练动态和损失函数的探索。在每个类别中讨论了几篇文章，并提供背景信息，以帮助理解各种方法。最后，综合研究获得的关键见解，讨论了领域中的挑战和潜在进展。

    Dec, 2023