MFTCoder:多任务精调提升代码 LLMs
通过对大规模语言模型进行参数高效微调技术的研究,本文在自动化代码生成场景下全面研究了这些技术对大规模语言模型的影响,实验结果表明这些技术在减轻计算负担和提高性能方面表现优越,为软件工程场景中的更广泛应用开启了机会。
Aug, 2023
本文提出了一种名为 Meta Fine-Tuning (MFT) 的有效学习过程,该过程可作为元学习器解决多个相似的自然语言处理任务,以获取高度可转移的知识,并通过优化一系列新颖的领域破坏损失函数来鼓励语言模型对领域不变表示进行编码。实验证明,MFT 对于小样本学习具有很大的用途。
Mar, 2020
通过使用一种新颖的 Customized Gate Control (CGC) Low-rank Adaptation (LoRA) 算法,我们提出了一个统一的框架,在大规模语言模型(LLMs)中实现了一种 1 + N 多任务微调模式,通过加入两种类型的专家,使 LoRA 与 MTL 相适应,并且在两个公共数据集上表现得比所有基准模型获得更高的评估分数。
Jan, 2024
该研究提出了一个简单的数据增强框架,利用预训练和微调阶段获得的知识来生成伪数据,以进一步提高 PLMC 的性能,在 CodeXGLUE 基准测试中的代码摘要和代码生成等方面取得了显著的改进。
Apr, 2023
Code Pre-trained Models (CodePTMs) based vulnerability detection struggles to generalize as they typically learn superficial mapping from source code to labels, resulting in poor performance in real-world scenarios. To address this, VulLLM integrates multi-task learning with Large Language Models (LLMs) to effectively mine deep-seated vulnerability features, surpassing seven state-of-the-art models in terms of effectiveness, generalization, and robustness.
Jun, 2024
提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型,具有灵活的组件模块和多样化的预训练任务,能够在不同的代码相关基准测试中取得最先进的结果,特别是在针对人类评估的代码生成任务中。
May, 2023
基于 Transformer 模型的代码 - 文本检索问题上,我们提出了一种使用参数高效微调技术的微调框架,并采用对比学习目标来改善 Transformer 模型学习到的双模态表示质量。通过在两个数据集上对 CodeT5 + 模型进行全面实验,我们证明了该微调框架有潜力通过微调最多 0.4%的参数来提高代码 - 文本检索性能。
May, 2024
本文介绍了 TransCoder,一种统一的用于代码表示学习的可转移微调策略,能够促进代码相关任务的卓越性能,并鼓励相互强化。
May, 2023
使用四种常见的 PEFT 方法对开源 MLLMs 的 LLM 组件进行微调,比较它们在参数效率方面的表现,结果显示 adapter 是效果最好的 PEFT 方法。
Jun, 2024
通过实证研究 PEFT 方法(LoRA 和 Compacter)在 CodeT5 和 CodeLlama 上的表现,评估它们相较于完全微调模型的性能、是否可用于从自然语言模型到代码的知识转移,以及它们适应学习知识到一种未见语言的能力。我们的研究目标是研究 R 语言,其具有广泛的社区,而 LLMs 的适应性和较低的计算成本使其能够在缺乏大量计算资源的情况下使用,此外,研究 R 语言为使用 LLMs 于其他语言提供了新机会,我们期望得出 PEFT 方法在 R 语言的代码 LLMs 上的能力以及改进领域。
Mar, 2024