本文研究了基于图神经网络的文本分类任务，提出了一种新的分层图神经网络模型（HieGNN），其在词级别、句子级别和文档级别分别提取相应的信息。实验结果表明与几个基准方法相比，我们的模型能够从样本中获得更多有用的分类信息。

Sep, 2022

本论文针对在文本图上学习有效节点表示的问题，提出了一种使用语言模型编码图文本信息的图神经网络和知识蒸馏机制，能够在无图情况下实现快速推理，实验结果表明，该方法在节点分类任务上具有显著优势。

Apr, 2023

我们采用神经网络学习个人的多维表示，结合社交媒体上的丰富语言和网络证据，从而综合推断人们在线的潜在属性，包括性别、职业、位置和友谊，并在推特上实现了分类、学习表示和预测任务的提高性能。

Oct, 2015

通过使用 LinguGKD 框架，将大型语言模型作为教师模型和图神经网络作为学生模型，通过设计的节点分类提示来调过教师 LLM 的 Hierarchically 学习到的节点特征和学生 GNN 在潜在空间的对齐，并采用层自适应对比学习策略，提高了学生 GNN 的预测准确性和收敛速度，同时提供了更快的推理速度和更少的计算和存储需求。

Feb, 2024

本篇论文研究了利用树形图编码模型进行文本分类，通过对网络结构的最小化熵的优化，提出了一种 HINT 模型，借助树形结构的层次性信息来提升文本分类效果，最终实验结果表明，在流行基准上 HINT 能够明显优于现有的最先进模型。

Oct, 2021

本研究提出了使用大型语言模型和图模型相结合的方法来学习文本属性图 (TAG)，通过将大型语言模型的能力提取到本地图模型上，以解决大型语言模型的可扩展性、成本和隐私问题，并通过丰富的文本理由教授解释器，然后让学生模型模仿解释器的推理来弥补大型语言模型和图模型之间的固有差距。通过广泛实验证明了该方法的有效性。

Feb, 2024

本文提出了一种基于图神经网络（GNN）的新方法 SHINE，构建了以单词为级别的组件图层次异构图，通过学习短文本图动态的进行标签传播，在各种基准短文本数据集上验证了其有效性和优越性。

Oct, 2021

本文提出了一种新颖的知识蒸馏方法，通过多头注意力网络从大型教师网络中提取基于数据集的知识，并进行多任务学习，大大提高了小型学生网络的性能。

Jul, 2019

本文介绍了使用外部知识来提升深度学习文本分类模型的 few-shot 学习能力，从而实现少量标注数据就能获得高性能的目的。作者在此基础上提出了一种新的参数生成网络，其能够利用外部知识生成关系网络参数，并将这些参数应用于多个任务中，以实现多个任务之间度量的转换。实验结果表明这种方法优于已有的 few-shot 文本分类模型。

Apr, 2020

我们研究在大规模图数据集上的图神经网络推理任务中存在的时间和内存消耗的难题，并尝试通过减少对图结构的依赖来克服此问题。为了解决位置信息丢失和低泛化性的两个主要问题，我们提出了一个新的三阶段多任务蒸馏框架，其中使用位置编码来捕捉位置信息，引入神经热核来处理图数据，并利用隐藏层输出进行匹配以提升学生 MLP 的性能。据我们所知，这是第一个在图上为学生 MLP 进行隐藏层蒸馏并将图位置编码与 MLP 相结合的工作。我们通过多种设置测试了其性能和鲁棒性，并得出结论：我们的工作在性能和稳定性方面具有卓越表现。

Mar, 2024