本论文介绍了一种利用拓扑数据分析法（TDA）分析语音的新方法，通过引入一系列从 Transformer 注意力映射和嵌入中得出的拓扑和代数特征，展示了建立在这些特征之上的简单线性分类器优于微调分类头的表现，并展示了拓扑特征能够揭示语音 Transformer 头的功能角色。

Nov, 2022

研究了注意机制在编码语言知识中的作用，并探讨了注意头在判断句子的语法可接受性方面的能力，通过拓扑数据分析显示关注图的几何特性可以有效地被用于二元判断和语言最小对的标准做法，并通过 CoLA 上的三种语言（英语，意大利语和瑞典语）提高了 BERT 基于可接受性分类器的得分 8％-24％。在 BLiMP 基准测试中，通过揭示最小对的注意力图之间的拓扑差异，实现了与人类水平相当的性能，在统计和转换器 LM 基线中优于九个基线。

May, 2022

本研究介绍了一种使用拓扑数据分析的文本分类器。我们使用 BERT 的关注映射转换为关注图作为该分类器的唯一输入。该模型可以解决区分邮件的垃圾邮件和普通邮件等任务，并在某些任务上表现出优于 BERT 基线的性能。此外，我们提出了一种新的方法来减少涉及拓扑分类器的 BERT 注意力头的数量。我们的工作还显示，拓扑模型在对抗性攻击方面表现出更高的鲁棒性，这一特性在减少注意力头的过程中保持不变。据我们所知，这项工作是在 NLP 领域中首次使用基于拓扑的模型来应对对抗性攻击。

Jun, 2022

我们提出了 TopRoBERTa 方法，通过在 RoBERTa 模型中加入拓扑数据分析（TDA）层，捕捉深度伪造文本中的更多语言模式。通过从 RoBERTa 的重塑池输出中提取 TDA 特征作为输入，我们展示了具有 TDA 层时处理嘈杂、不平衡和异构数据集的优势。最终，TopRoBERTa 在 2/3 个数据集上胜过传统的 RoBERTa，宏 F1 得分提升高达 7%。

Sep, 2023

通过在基于 transformer 的语言模型中的注意力图上应用拓扑数据分析（TDA）来检测超出分布（OOD）的文本样本。我们评估了我们提出的基于 TDA 的 OOD 检测方法在 BERT 上的效果，并与基于 BERT CLS 嵌入的传统 OOD 方法进行了比较。我们发现，我们的 TDA 方法在区分内部数据（HuffPost 的政治和娱乐新闻文章）与远离领域样本（IMDB 评论）方面优于 CLS 嵌入方法，但其效果在接近领域（CNN / Dailymail）或相同领域（HuffPost 的商业新闻文章）数据集上逐渐减弱。

Nov, 2023

本文综述了拓扑深度学习领域，回顾了拓扑数据分析的核心概念，探讨了如何将 TDA 技术融入到不同方面的深度学习中，并讨论了拓扑深度学习的挑战和未来前景。

Feb, 2023

本文研究如何应用拓扑数据分析在语言模型中识别和提取其对语言特征的表达，提出了基于拓扑数据分析的分类方法，并在 CoLA 和 RuCoLA 两个不同语言数据集上证明了该方法的优势。

Apr, 2023

我们详细测试了拓扑数据分析（TDA）的声称，并验证了其优点。我们的结果证实了 TDA 对异常值的鲁棒性和其解释性，并发现 TDA 在我们的具体实验中并没有显著提高现有方法的预测能力，同时增加了计算成本。我们研究了与图特征相关的现象，如小直径和高聚类系数，以减轻 TDA 计算的计算开销。我们的研究结果为将 TDA 整合到图机器学习任务中提供了宝贵的观点。

Jan, 2024

通过使用不同的方法和特征，我们提出了一种基于 RoBERTa 模型和冻结语言模型嵌入特征的新方法，能够超过人类准确度水平和先前考虑的基准，在真实或假文本基准测试上取得更好的结果，并且分析了各种设置下所有提出分类器的鲁棒性以及对人工文本边界检测算法性能的负面影响。

Nov, 2023

使用代数拓扑的方法（TDA）来分析和侦测复杂的恶意软件模式，发现 TDA Mapper (结合 PCA) 在聚类和发现隐藏的恶意软件集群方面比 PCA 更好，持久图用于识别重叠的恶意软件集群。可以使用随机森林和决策树，以及 t-SNE 和持久图来应对噪声数据，提高恶意软件检测的性能和鲁棒性。

Nov, 2022