关注拓扑空间：细胞变换器
核分类是计算机辅助诊断中的关键步骤，本文提出了一种基于细胞图变换器的新方法，通过在细胞图中处理节点和边缘作为输入标记，实现了可学习的邻接和信息交换，结合拓扑感知的预训练方法，显著提高了核分类结果并达到了最先进的性能。
Feb, 2024
本文提出了一种基于细胞复合体的神经网络结构 ——Cell Complexes Neural Networks (CXNs)，它是一种通用、组合和统一的构造。我们介绍了一种在细胞复合体上进行消息传递的方案，该方案考虑了底层空间的拓扑性，并将消息传递方案推广到了图上。最后，我们介绍了一个统一的细胞自编码器框架，它使得在欧几里得空间内学习给定细胞复合体的表示成为可能。特别地，我们展示了在 cell2vec 这个特殊情况下，我们的细胞复合体自编码器构造可以对 node2vec 进行泛化。
Oct, 2020
图神经网络在图结构化数据的表示学习任务中具有捕捉局部和全局模式的能力，但是长程和高阶依赖性带来了挑战。为了解决此问题，该论文提出了拓扑神经网络，并引入了基于拓扑结构的消息传递机制和多元关系归纳偏置，以更好地捕捉依赖关系和设计各向异性聚合方法。此外，还介绍了增强型细胞同构网络，通过增加拓扑消息传递机制，使环形结构中的节点组之间能够直接进行交互。
Feb, 2024
Topological Deep Learning 解决复杂系统数据处理与知识提取的框架，但目前 Topological Neural Network 研究缺乏统一的符号和语言。本文提供对 TDL 可访问的介绍，并使用统一数学和图形符号比较最近发表的 TNN。通过对 TDL 领域的直观和批判性评估，提取有价值的见解，为未来发展提供激动人心的机遇。
Apr, 2023
通过拓扑理论的视角对变压器神经网络的表达能力进行理论分析，发现许多常见的神经网络架构可以嵌入到分段线性函数的前拓扑中，而变压器必须位于其拓扑完成中，并且指出这两种网络家族实例化了不同的逻辑片段：前者是一阶的，而变压器是高阶推理器，并且将其分析与架构搜索和梯度下降相类比，将其整合到了对测控系统的框架中。
Mar, 2024
提出了一种拓扑引导的超图变换网络，通过保留结构本质学习图中的高阶关系，设计了简洁而有效的结构和空间编码模块将节点的拓扑和空间信息融入其表示，并提出了一种结构感知的自注意机制，从语义和结构角度发现重要节点和超边。实验证明，所提模型在节点分类任务上的性能始终优于现有方法。
Oct, 2023
本研究介绍了一种使用拓扑数据分析的文本分类器。我们使用 BERT 的关注映射转换为关注图作为该分类器的唯一输入。该模型可以解决区分邮件的垃圾邮件和普通邮件等任务，并在某些任务上表现出优于 BERT 基线的性能。此外，我们提出了一种新的方法来减少涉及拓扑分类器的 BERT 注意力头的数量。我们的工作还显示，拓扑模型在对抗性攻击方面表现出更高的鲁棒性，这一特性在减少注意力头的过程中保持不变。据我们所知，这项工作是在 NLP 领域中首次使用基于拓扑的模型来应对对抗性攻击。
Jun, 2022
本论文提出了一种基于可学习的单元概率函数和可微分单元复合模块的 Latent Topology Inference（LTI）方法，用于描述点之间的多路交互，此方法在多个同质和异质图数据集上的实验证明了其优于其他现有技术的表现，可用于在没有提供输入图形的情况下提高拓扑学习的性能。
May, 2023
本研究提出了一种名为 DET 的新型 Transformer 架构，采用结构编码器聚合连接邻居的信息和语义编码器聚焦于远距离节点，通过自监督训练寻找所需的远距离邻居，比使用多跳邻居的方法更为优越。实验结果表明，DET 在处理分子、网络和各种规模的知识图谱方面比对应的最新方法具有更优越的性能表现。
Feb, 2022