通过将知识图嵌入到大型语言模型中，我们提出了一种名为 KnowLA 的知识适应方法，该方法通过在语言模型中插入适应层，将文本中出现的实体的嵌入融入到语言模型中，并与 LoRA 一起进行训练。实验结果表明 KnowLA 的有效性和鲁棒性，能够在不改变语言模型参数或输入提示的情况下，激活语言模型中的相关参数化知识以回答问题。

Mar, 2024

知识编辑技术在大型语言模型中的应用及性能表现。

Feb, 2024

通过对大规模语言模型进行参数高效微调技术的研究，本文在自动化代码生成场景下全面研究了这些技术对大规模语言模型的影响，实验结果表明这些技术在减轻计算负担和提高性能方面表现优越，为软件工程场景中的更广泛应用开启了机会。

Aug, 2023

大型语言模型 (Large Language Models) 在理解和生成与人类交流非常相似的文本方面表现出非凡的能力。然而，由于其广泛的参数化，训练过程中存在重大的计算需求限制。这种挑战由于世界的动态性而进一步加剧，需要经常更新 LLM 以纠正过时的信息或整合新知识，从而确保它们持续具有相关性。近年来，对于即时修改模型的高效轻量级方法引起了越来越多的关注。本文首先定义了知识编辑问题，然后提供了对最前沿方法的全面回顾。在教育和认知研究理论的启发下，我们提出了一个统一的分类准则，将知识编辑方法分为三类：利用外部知识、将知识合并到模型中以及编辑内在知识。此外，我们引入了一个新的基准 KnowEdit，以对代表性的知识编辑方法进行综合实证评估。此外，我们对知识定位进行了深入分析，从而更深入地了解 LLM 固有的知识结构。最后，我们讨论了知识编辑的几个潜在应用，并概述了它的广泛而有影响力的意义。

Jan, 2024

通过引入查询依赖的参数高效微调方法，本文提出了一种文本重新排序的方法，通过泄漏真实查询信息给大型语言模型以使其更容易从输入文档中生成真实查询，从而进一步提高重新排序性能。

Apr, 2024

预训练语言模型与基于它们的参数高效微调方法被综合评述，重点讨论了内存效率和计算资源限制等参数效率问题以及应用于下游任务的挑战和机遇。

Dec, 2023

介绍了大型语言模型（LLMs）的计算成本问题以及知识模型编辑（KME）领域中的最新进展和分类技术，探讨了方法的洞见、优势、限制以及实际应用和挑战，并提出了未来研究方向。

Oct, 2023

该研究论文从参数高效微调（PEFT）对大语言模型（LLMs）的迫切需求出发，强调了当前状态和进一步研究该主题的必要性，以及需要解决的重要挑战和开放问题，包括创新 PEFT 架构、不同学习设置的 PEFT、结合模型压缩技术的 PEFT 以及多模态 LLMs 的 PEFT 探索。通过提出该立场论文，我们旨在激发进一步的研究，并促进围绕 LLMs 的更高效和可访问的 PEFT 的讨论。

Nov, 2023

通过采用语义视角研究，揭示了 Parameter-Efficient Fine-Tuning（PEFT）方法在知识学习任务中的限制原因，并提出了数据过滤策略和语义距离加权学习策略，以提高模型对知识学习的关注度。实验证明了该方法在开源大语言模型上的有效性，并为未来的研究铺平道路。

May, 2024

使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调，比较它们在参数效率方面的表现，结果显示 adapter 是效果最好的 PEFT 方法。

Jun, 2024