单纯注意力网络
该研究介绍了单纯神经网络(SNNs),作为图神经网络在特殊拓扑空间,即单纯复合体上的一般化形式。这种新的神经网络结构,能够处理包括向量场或 n 重合作网络等更多元的数据,也定义了适当的卷积方式,并在合著关系复合体的数据丢失方面进行测试。
Oct, 2020
介绍了一种名为广义单纯姿态注意力神经网络(GSANs)的新型神经架构,用于处理在单纯复合体上定义的数据,通过掩码自注意力层。利用拓扑信号处理原理,设计了一系列自注意机制,能够处理在不同单纯阶数上定义的数据组件,如节点、边、三角形等。证明了 GSANs 具有置换等变性和单纯意识。在几个任务(归纳和传导)中应用到轨迹预测、缺失数据补全、图分类和单纯预测中,与其他方法相比取得了有利的效果。
Sep, 2023
本研究提出了一个基于 simplicial complex 的复杂语义表示方法:Simplicial Graph Attention Network (SGAT),通过将非目标节点的特征放置在简单形上,表示非线性、高阶节点或边缘的交互作用,并使用注意机制和上邻接来生成表示。实验证明,与其他当前最先进的异构图学习方法相比,SGAT 在节点分类任务和提取结构信息方面表现更好。
Jul, 2022
本文提出了一个将注意机制与脉冲神经网络 (SNN) 相结合的新方法,以改进图表示学习的能力。该方法能够在学习过程中选择性地关注图中重要的节点和相应的特征,并在多个基准数据集上进行评估,结果显示其性能与现有的图学习技术相当。
Mar, 2024
通过线性和非线性混合机制对降维复合体进行数据增强,提出一种凸聚类混合方法来处理多个降维复合体之间的数据驱动关系,实现了对现有数据的合成插值,并在简单复合体分类的合成和实际数据集上进行了方法验证。
Sep, 2023
本文研究了如何将更丰富的结构分布用于深度神经网络中的嵌入式分类推理,通过两种不同的结构注意力网络:线性链条件随机场和基于图形的解析模型的实验,展示了这些结构的注意力网络超过了基线的注意力模型在各种合成和真实任务中的表现。
Feb, 2017
研究了利用 simplicial neural networks 学习含文本属性复合单体复杂网络的表示,并对 SNN 的表示输出进行了成员推理攻击和图重构攻击,研究如何通过隐私保护的算法利用 multi-scale 关系和从局部结构到全局不变特征在文本属性网络中学习安全表示输出。
Feb, 2023
该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks,可以对大规模、复杂的图进行特征聚合,鲁棒性与有效性更高,达到与原始图相同或更高的预测性能;同时,其使用结果可视化和量化表达,让人更加容易理解。
Dec, 2019
基于二值正向传播策略的二值单纯共形神经网络,通过使用 simplicial convolution 结合 Hodge Laplacian 可以高效且准确地表示高阶结构,相较于之前的单纯共形神经网络具有更小的模型复杂度,缩短了执行时间且不易产生过度平滑效应。
May, 2024