Apr, 2024

面向图表示学习的参数高效调优大型语言模型

PDF
TL;DR针对文本丰富的图表，我们引入了一种新方法 —— 图感知参数高效微调（GPEFT），通过利用图神经网络（GNN）编码邻居节点的结构信息生成图提示，插入到文本序列的开头，从而实现了高效的图表示学习。通过在 8 个不同的文本丰富的图表上进行全面实验证明了该方法的有效性和高效性，在链接预测评估中平均提升了 2% 的 hit@1 和平均倒数排名（MRR），同时表明可以与多种大型语言模型无缝集成，包括 OPT、LLaMA 和 Falcon。
text-rich graphslarge language modelsrepresentation learninggraph-aware parameter-efficient fine-tuninggraph neural network
发现论文，激发创造
  • 基于文本图的大型语言模型的高效调优和推理

    通过将大型语言模型（LLMs）与图神经网络（GNNs）相结合，我们提出了一个参数和内存效率的 FINE-TUNING 方法来处理文本图，该方法通过可调的边结构显著降低了训练复杂性，同时在文本图上获得了最佳模型性能，且训练成本最低。

    Jan, 2024

  • Q-PEFT：大型语言模型中用于文本重新排序的查询相关参数高效微调

    通过引入查询依赖的参数高效微调方法，本文提出了一种文本重新排序的方法，通过泄漏真实查询信息给大型语言模型以使其更容易从输入文档中生成真实查询，从而进一步提高重新排序性能。

    Apr, 2024

  • 面向更高参数效率的大语言模型微调：一篇立场论文

    该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新 PEFT 架构、不同学习设置的 PEFT、结合模型压缩技术的 PEFT 以及多模态 LLMs 的 PEFT 探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕 LLMs 的更高效和可访问的 PEFT 的讨论。

    Nov, 2023

  • GraphGPT: 大型语言模型的图指令调优

    我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

    Oct, 2023

  • LLM-Adapters：用于大型语言模型参数高效微调的适配器家族

    本文提出 LLMs-Adapters 框架，利用少量可调参数对小型 LLMs 进行 fine-tuning，实现对各种任务的支持；在六种数学推理数据集上的实验表明，将 adapter-based PEFT 应用于小型 LLMs（7B）可以取得与强大的 LLMs（175B）相似甚至更优秀的性能，旨在推进 adapter-based PEFT 的研究，为 LM 大规模的 fine-tuning 提供了有价值的工具和框架。

    Apr, 2023

  • 大型语言模型的图神经启动

    提出了图神经传递（GNP）方法，通过利用知识图谱，辅助预训练大型语言模型（LLMs）学习有益的知识，具有在常识和生物医学推理任务中的优越性能。

    Sep, 2023

  • 在图上高效微调大规模语言模型

    通过提出一种新颖高效的方法 LEADING，实现了对大型语言模型在文本属性图（TAGs）上的端到端微调，具有比现有方法更高的计算和数据效率，为一系列大型语言模型和基于 TAGs 的图学习任务提供了有前景的解决方案。

    Dec, 2023

  • 利用大型语言模型进行代码生成的参数高效微调技术探究

    通过对大规模语言模型进行参数高效微调技术的研究，本文在自动化代码生成场景下全面研究了这些技术对大规模语言模型的影响，实验结果表明这些技术在减轻计算负担和提高性能方面表现优越，为软件工程场景中的更广泛应用开启了机会。

    Aug, 2023

  • KnowLA: 提升参数高效微调与专业适应性

    通过将知识图嵌入到大型语言模型中，我们提出了一种名为 KnowLA 的知识适应方法，该方法通过在语言模型中插入适应层，将文本中出现的实体的嵌入融入到语言模型中，并与 LoRA 一起进行训练。实验结果表明 KnowLA 的有效性和鲁棒性，能够在不改变语言模型参数或输入提示的情况下，激活语言模型中的相关参数化知识以回答问题。

    Mar, 2024

  • 预训练语言模型的参数高效微调方法：关键评估与考察

    预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

    Dec, 2023