HIGHT: 图语对齐的层次图切分

Jun, 2024

HIGHT: Hierarchical Graph Tokenization for Graph-Language Alignment

Yongqiang Chen, Quanming Yao, Juzheng Zhang, James Cheng, Yatao Bian

TL;DR利用分层图标记的新策略（HIGHT）在分子图中增强了大型语言模型（LLMs）的图 - 语言对齐性和生成输出的准确性。

Abstract

Recently there has been a surge of interest in extending the success of large language models (LLMs) to graph modality, such as social networks and molecules. As LLMs are predominantly trained with 1D text data, most existing approaches adopt a graph neural network to represent a graph

large language models graph modality hierarchical structures molecular graphs hierarchical graph tokenization

发现论文，激发创造

一个语义分层图神经网络用于文本分类

本文研究了基于图神经网络的文本分类任务，提出了一种新的分层图神经网络模型（HieGNN），其在词级别、句子级别和文档级别分别提取相应的信息。实验结果表明与几个基准方法相比，我们的模型能够从样本中获得更多有用的分类信息。

Sep, 2022

LangTopo: 利用分词的拓扑建模将图形的语言描述对齐

该论文介绍了一种新的框架 LangTopo，通过构建代码簿量化了 GNN 和 LLM 的图结构建模能力，并通过一致性最大化的过程将 LLM 的文本描述与 GNN 的拓扑建模对齐，使 LLM 能够学习捕捉图结构的能力，从而能够独立处理图结构化数据。通过在多个数据集上展示我们提出的方法的有效性。

Jun, 2024

基于大型语言模型的文本丰富图的分层压缩

在处理文本丰富的图结构数据中，本研究介绍了一种被称为 “Hierarchical Compression” 的新方法，通过将文本信息组织成可管理的层次结构并逐步压缩节点文本，使得大型语言模型能够更好地与文本丰富的图结构进行整合，不仅能保留文本的上下文信息，还能解决计算复杂性问题，并在电子商务和引用图上实现了比传统方法（如图神经网络和大型语言模型）更好的节点分类性能。

Jun, 2024

层级文本反转下的高效分子生成

提出了一种新的数据高效分子生成方法 —— 分层文本反转分子生成（HI-Mol），通过多级嵌入来反应分子分布的多层次特征，进而在少量训练数据的情况下生成高质量的分子。

May, 2024

分层信息的重要性：基于树型图神经网络的文本分类

本篇论文研究了利用树形图编码模型进行文本分类，通过对网络结构的最小化熵的优化，提出了一种 HINT 模型，借助树形结构的层次性信息来提升文本分类效果，最终实验结果表明，在流行基准上 HINT 能够明显优于现有的最先进模型。

Oct, 2021

分层图到图分子翻译

本文重点研究了药物发现方面的自动优化工具，并且提出了一种基于图像及其翻译方法的分子优化技术，利用其原子级编码和自回归图形解码器解决分子结构中的多个技术挑战。同时，我们的模型在多项任务中显著优于现有的基准模型。

Jun, 2019

大型语言模型对文本属性图的拓扑结构增强

利用大型语言模型在图学习任务中的潜力，本研究探索了如何利用信息检索和文本生成能力来提高文本属性图的拓扑结构，进而增强节点分类的性能。通过节点属性的语义相似度，采用大型语言模型来删除不可靠的边并添加可靠的边，以及利用大型语言模型生成的伪标签改善图的拓扑结构。实验证明使用大型语言模型进行图拓扑改善在公共基准测试中提升了 0.15% 至 2.47% 的性能。

Nov, 2023

分层互信息传递用于分子图学习

使用层次神经消息传递结构对分子图进行学习，并在 ZINC 数据集和 MoleculeNet 基准集的数据集上验证其性能。

Jun, 2020

由潜在分层文档结构引导的抽象摘要

提出使用层次感知图神经网络（HierGNN）实现文档结构层次分析的自动摘要模型，在 CNN / DM 和 XSum 数据集上分别取得了平均 ROUGE-1/2/L 为 0.55 和 0.75，在人工评估中也证明了其比基线具有更高的内容相关性和较少的冗余。

Nov, 2022

将全局和局部层次信息植入基于序列的代码表示模型

本文探讨了代码序列中层次结构对令牌的影响，并将其抽象为代码令牌的一个属性。我们提出了一种简单但有效的模型 HiT，将完整的层次结构嵌入源代码序列。实验证明，层次嵌入可用于学习代码结构，并在多个数据集上的分类和生成任务中显示出 HiT 性能的稳定训练效率。

Mar, 2023