Nov, 2022

拓扑数据分析在语音处理中的应用

PDF
TL;DR本论文介绍了一种利用拓扑数据分析法（TDA）分析语音的新方法，通过引入一系列从 Transformer 注意力映射和嵌入中得出的拓扑和代数特征，展示了建立在这些特征之上的简单线性分类器优于微调分类头的表现，并展示了拓扑特征能够揭示语音 Transformer 头的功能角色。
发现论文，激发创造
  • 通过检查注意力图的拓扑来检测人工文本

    利用拓扑数据分析（TDA）提取 BERT 模型的可解释的拓扑特征，用于区分人工生成的文本和真实的文本，证明 TDA 对于包含表面和结构信息的 NLP 任务是具有前景的。

    Sep, 2021

  • 拓扑深度学习：新兴范式综述

    本文综述了拓扑深度学习领域，回顾了拓扑数据分析的核心概念，探讨了如何将 TDA 技术融入到不同方面的深度学习中，并讨论了拓扑深度学习的挑战和未来前景。

    Feb, 2023

  • BERT 与 RuCoLA: 用拓扑数据分析解释

    本文研究如何应用拓扑数据分析在语言模型中识别和提取其对语言特征的表达，提出了基于拓扑数据分析的分类方法，并在 CoLA 和 RuCoLA 两个不同语言数据集上证明了该方法的优势。

    Apr, 2023

  • 解析图机器学习中拓扑数据分析的威力

    我们详细测试了拓扑数据分析（TDA）的声称，并验证了其优点。我们的结果证实了 TDA 对异常值的鲁棒性和其解释性，并发现 TDA 在我们的具体实验中并没有显著提高现有方法的预测能力，同时增加了计算成本。我们研究了与图特征相关的现象，如小直径和高聚类系数，以减轻 TDA 计算的计算开销。我们的研究结果为将 TDA 整合到图机器学习任务中提供了宝贵的观点。

    Jan, 2024

  • 通过检查注意力映射的拓扑结构进行可接受性判断

    研究了注意机制在编码语言知识中的作用，并探讨了注意头在判断句子的语法可接受性方面的能力，通过拓扑数据分析显示关注图的几何特性可以有效地被用于二元判断和语言最小对的标准做法，并通过 CoLA 上的三种语言（英语，意大利语和瑞典语）提高了 BERT 基于可接受性分类器的得分 8％-24％。在 BLiMP 基准测试中，通过揭示最小对的注意力图之间的拓扑差异，实现了与人类水平相当的性能，在统计和转换器 LM 基线中优于九个基线。

    May, 2022

  • 神经网络分析的拓扑数据分析综述

    该研究综述了拓扑数据分析（TDA）在神经网络分析中的应用，并通过使用 TDA 工具如持久性同调和 Mapper 来探究神经网络及其数据集的复杂结构和行为。研究讨论了从数据和神经网络中获取拓扑信息的不同策略，并回顾了拓扑信息如何被利用来分析神经网络的特性，如其泛化能力或表达能力。重点讨论了深度学习在对抗检测和模型选择等领域的实际应用。将研究工作分为四个广泛领域：1. 神经网络架构的特征化；2. 决策区域和边界的分析；3. 内部表示、激活和参数的研究；4. 训练动态和损失函数的探索。在每个类别中讨论了几篇文章，并提供背景信息，以帮助理解各种方法。最后，综合研究获得的关键见解，讨论了领域中的挑战和潜在进展。

    Dec, 2023

  • 卷积神经网络激活层拓扑结构实验观察

    本文应用拓扑数据分析的前沿技术，通过量化内部表示之间的差异和绘制网络层次结构图等方法，探索了用于图像分类的深度神经网络的可解释性，并提供了实验证据证明这些方法能够捕捉到有关模型过程的可贵结构信息。

    Dec, 2022

  • 基于点云的节点级拓扑表示学习

    通过离散拓扑学和微分几何的概念，我们提出了一种从复杂点云中提取节点级拓扑特征的新方法，并验证了这些拓扑点特征在合成和真实数据上的有效性以及其对噪声的鲁棒性。

    Jun, 2024

  • 拓扑数据分析

    本文综述了拓扑数据分析中用于数据结构发现的聚类、流形估计、非线性降维、模式估计、脊估计和持久同调等方法。

    Sep, 2016

  • 基于拓扑数据分析的主机日志异常检测

    使用拓扑数据分析和谱嵌入方法进行 Windows 日志中的异常检测，这种方法可以比标准的事件计数嵌入方法更好地分类异常日志，并在可能成为异常检测可解释框架的方法方面讨论了其潜在应用。

    Apr, 2022