BriefGPT.xyz
Jan, 2024
结构化代码表示实现代码语言模型的高效数据自适应
Structured Code Representations Enable Data-Efficient Adaptation of Code Language Models
HTML
PDF
Mayank Agarwal, Yikang Shen, Bailin Wang, Yoon Kim, Jie Chen
TL;DR
通过预训练和微调编程结构,改进了面向代码任务的当前语言模型的方法,并且在使用有限训练样本时,结合程序结构与纯文本表示方式展现出显著的改进效果。
Abstract
Current
language models
tailored for
code tasks
often adopt the
pre-training
-then-
→