Apr, 2024
面向图表示学习的参数高效调优大型语言模型
Parameter-Efficient Tuning Large Language Models for Graph
Representation Learning
TL;DR针对文本丰富的图表，我们引入了一种新方法——图感知参数高效微调（GPEFT），通过利用图神经网络（GNN）编码邻居节点的结构信息生成图提示，插入到文本序列的开头，从而实现了高效的图表示学习。通过在8个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性，在链接预测评估中平均提升了2%的hit@1和平均倒数排名（MRR），同时表明可以与多种大型语言模型无缝集成，包括OPT、LLaMA和Falcon。