EMNLPOct, 2023

CodeFusion:一种用于代码生成的预训练扩散模型

TL;DR在此研究中介绍了 CodeFusion 预训练扩散代码生成模型,通过迭代地去噪编码自然语言的完整程序来解决自回归模型无法重新考虑先前生成的令牌的局限性。通过对 Bash、Python 和 Microsoft Excel 条件格式规则的自然语言转代码生成任务的评估,实验证明 CodeFusion(7500 万参数)在一级准确率上与现有自回归系统(350 万至 1750 亿参数)表现相当,并且在前三和前五的准确率上优于它们,这归功于其在多样性与质量之间更好的平衡。