- 通过词汇将 Dr.E 桥接大型语言模型的图表
我们介绍了一个创新的、端到端的模态对齐框架,配备了一个预训练的 Dual-Residual Vector Quantized-Variational AutoEncoder (Dr.E)。该框架专门设计用于促进与 LLMs 的令牌级对齐,实 - 图神经汤普森采样
我们提出了一种基于图神经网络和汤普森抽样算法的在线决策问题求解方法,该方法在估计奖励函数的平均值和不确定性估计方面利用了图神经网络近似器,并证明在一定奖励函数边界的假设下,该方法在交互轮次数量和有效维度上能够达到线性次数的亚线性遗憾界,并且 - 图上线性合并法对不确定性量化
图结构数据中对不确定性进行量化,特别是对(半监督)节点分类中的预测不确定性进行量化的问题已被解决。我们提出了一种新的方法,通过利用图拓扑提供的结构信息,用狄利克雷分布的混合物表示(认识论)不确定性,并引用线性观点汇聚的已建立原理,在邻居节点 - AGALE: 图感知的持续学习评估框架
最近几年,连续学习技术在从流数据中保留知识的同时进行学习方面取得了重要的进展,但现有的评估框架不适用于具有图结构数据的情况。本研究提出了一个考虑图结构数据的图感知评估框架,解决了以往评估框架的局限性,并在连续学习、连续图学习和动态图学习领域 - 节点分类的后验标签平滑
在图结构化数据的节点分类任务中,本研究提出了一种简单但有效的软标签平滑方法,通过邻近标签分布来封装目标节点的局部上下文,提高了大多数情况下 10 个节点分类数据集的分类准确率,同时缓解了训练时的过拟合问题,提高了泛化性能。
- GraphAny: 适用于任何图节点分类的基础模型
该研究论文提出了一种名为 GraphAny 的基础体系结构,实现了对新图进行构造节点分类的推理,使用线性 GNN 的解析解并学习节点的注意力分数来融合多个线性 GNN 的预测,从而实现对不同图结构的泛化,该方法在归纳方式下,使用仅 120 - 基于图的消息扩散的束联神经网络
Graph-structured data learning using BuNN, a type of GNN that operates through message diffusion over flat vector bundle - Hi-GMAE:层次图掩码自编码器
Hierarchical Graph Masked AutoEncoders (Hi-GMAE) is a multi-scale framework that addresses the limitations of single-sca - GRANOLA: 图神经网络的自适应归一化
提出了一种用于图神经网络层的新型图自适应归一化层 GRANOLA,利用随机节点特征在图中传播来产生明确的邻域结构表达,理论支持,并在各种图基准测试中证明了其优越性能。
- 图形在分布偏移下的泛化
通过引入图学习不变领域生成(GLIDER)的新框架,本文在节点级别的属性分布和拓扑结构分布的共同分布转变的情境下,实现了优于基准方法的节点级别 OOD 广义化跨域模型。
- 自注意力增强的图卷积网络:结构学习和节点嵌入
本研究提出了一种名为 GCN-SA 的新型图学习框架,它具有出色的节点级表示学习的泛化能力,并且通过自注意机制和改进的转换器块实现了对长程依赖关系的捕捉,从而使其能够在具有不同程度同质性的图上进行表示学习。
- FedStruct: 分布式解耦图联邦学习
我们提出了一种名为 FedStruct 的新框架,用于处理分布在多个客户端上的基于图结构的数据的联邦学习挑战,通过利用明确的全局图结构信息捕捉节点间的依赖关系,FedStruct 消除了在客户端之间共享敏感节点特征或嵌入的必要性,通过在六个 - BuffGraph: 通过缓冲节点增强类别不平衡的节点分类
解决图结构数据中的类不平衡问题,引入 BuffGraph,并将缓冲节点插入图中以改善少数类的表示,通过丰富实验表明 BuffGraph 在自然环境和不平衡环境下的节点分类中优于现有基线方法。
- 通向多功能图学习方法:基于大型语言模型的视角
本文提出了一种使用大型语言模型设计多功能图学习方法的新概念原型,重点关注了 “在哪里” 和 “如何” 的角度,总结了四个关键的图学习过程,并探索了大型语言模型在这些过程中的应用场景,最后指出了更好利用大型语言模型的发展方向。
- LLaGA:大型语言和图形助手
LLaGA 是一个创新的模型,它将大型语言模型的能力与处理图结构数据的复杂性相结合,通过重新组织图节点并将其映射到标记嵌入空间来实现。LLaGA 在不同数据集和任务上表现出色,能够一次性使用一个模型,在受监督和零样本情况下超越最先进的图模型 - ExGRG: 显式生成关系图用于自监督表示学习
自我监督学习已成为一种强大的技术,通过利用未标记数据中的嵌入信号而不依赖昂贵的注释标签来预训练深度学习模型。本文介绍了一种新的非对比自我监督学习方法,以显式生成组合关系图(ExGRG)来克服图结构数据的语义改变和反直觉性增强的挑战,并展示其 - ACL基于知识的文本生成中的对话型大型语言模型的比较分析
通过对四个不同大小的大型语言模型以及不同提示技术的比较和基准实验分析,我们发现对于从语义三元组生成自然语言文本,少量示范、后处理和高效微调技术可以显著提高大型语言模型的能力,尤其对于表现出低零样本性能的较小模型。
- 数据高效图学习综述
图结构数据是从社交网络到生化分析等领域广泛存在的,它们为不同实际系统提供了基础。而图神经网络在建模这种类型的数据时具有很高的成功率,但通常依赖于大量标记数据,这在实际场景中具有有限的注释资源时带来挑战。为了解决这个问题,我们在低资源环境下增 - 图形 Q-Learning 用于组合优化
本论文提出并证明了图神经网络可以应用于解决组合优化问题,通过将优化过程视为顺序决策问题,使用 Q-Learning 训练图神经网络可以在参数和训练时间上只占一小部分的情况下接近达到最先进的启发式求解器的性能。
- 隐私保护的神经图数据库
在大数据和迅速发展的信息系统时代,高效准确的数据检索变得越来越重要。神经图数据库(NGDBs)是结合了图数据库(graph DBs)和神经网络的优势,实现了图结构数据的高效存储、检索和分析的强大范式。然而,这种能力是伴随着潜在的隐私风险的,