Feb, 2024
CodeArt: 当符号缺失时通过注意力正则化改进代码模型
CodeArt: Better Code Models by Attention Regularization When Symbols Are Lacking
Zian Su, Xiangzhe Xu, Ziyang Huang, Zhuo Zhang, Yapeng Ye...
TL;DR采用 Transformer 模型,通过程序分析和注意力屏蔽等方法,提出了一种新的预训练代码模型的方法,该模型可以在缺少符号的情况下学习程序的上下文和相关性,并在多个软件工程任务中取得了显著的性能提升。