探索语言模型利用辅助函数的代码生成能力

ACLMar, 2024

探索语言模型利用辅助函数的代码生成能力

Exploring Language Model's Code Generation Ability with Auxiliary Functions

Seonghyeon Lee, Sanghwan Jang, Seongbo Jang, Dongha Lee, Hwanjo Yu

TL;DR辅助功能对于提高语言模型的代码生成能力有帮助，但如何调用辅助功能尚未进行系统性的研究。本文使用人工创建的评估集来综合评估最近的代码预训练语言模型中利用辅助功能的能力，并通过实验和分析发现其有效性、稳定性和具有自我改进行为的潜力，但同时也发现模型对调用辅助功能的利用不足，建议加强模型对调用辅助功能的实现方法来提高其性能。

Abstract

auxiliary function is a helpful component to improve language model's code generation ability. However, a systematic exploration of how they affect has yet to be done. In this work, we comprehensively evaluate th

auxiliary function language model code-pretrained implementation patterns research direction

发现论文，激发创造

探究语言模型在函数式编程语言中完成代码的性能：一个 Haskell 案例研究

评估了两个语言模型（CodeGPT 和 UniXcoder）在函数式编程语言 Haskell 上的性能表现，发现在函数式编程语言上代码补全是可行的，但存在空预测、额外注释和不完整 / 错误预测的问题，因此需要更多高质量的 Haskell 数据集。

Mar, 2024

AANG：自动辅助学习

通过提出的自动化管道方法，我们演示了辅助学习目标如何帮助数据获取困难或高度复杂的任务，并使在自然语言处理领域的预训练模型上的持续训练实验产生了强大的改进。

May, 2022

探索代码生成任务的数据增强技术

本文探讨了自然语言处理、迁移学习和数据利用等技术在编程语言任务中的应用以及基于增强方法的模型训练，该方法可使代码翻译和摘要的准确率分别提高至 6.9% 和 7.5%。

Feb, 2023

函数约束的程序综合

该研究介绍了一种技术，它允许大型语言模型在解决编程任务时利用用户提供的代码，并且提出了一种逐步生成模块化子函数的方法，以帮助模型在初始生成的代码不足时进行未来的代码生成尝试。

Nov, 2023

功能学习与规范指令

利用规范指令和测试套件，本文分析了功能学习的无微调方法，小模型很难遵循规范指令，但大模型（> 3B params.）能够从规范中受益并在不同功能上广义理想行为。

Nov, 2023

RealHumanEval: 评估大型语言模型对程序员的支持能力

通过使用 RealHumanEval、静态基准以及优先度度量，研究了大型语言模型（LLMs）在代码编写中的效能表现以及对程序员生产力的影响。发现优化的基准性能可以提高程序员的生产力，但基准性能与人类表现之间的差距并不成比例，同时程序员的偏好与实际表现并无关联，这促使我们需要更好、以人为中心的评估指标。同时，我们公开了 RealHumanEval 工具和研究数据以促进代码模型的改进。

Apr, 2024

锚定函数：一类用于研究语言模型的基准函数

了解基于 Transformer 的语言模型对于推进人工智能通用性至关重要，而学术研究团队面临着复杂的数据结构、未知的目标函数、高计算成本和内存需求以及推理过程缺乏可解释性等重大挑战。本文引入锚函数的概念，为研究遵循 “锚 - 键” 模式的学习任务中语言模型设计了一种基准函数，从而构建了一系列模拟各种语言任务的函数。通过示例展示了锚函数的实用性，并揭示了语言模型中注意力结构的两个基本操作：标记位移和一个标记从一个位置广播到多个位置。因此，锚函数框架为进一步探索有价值且易于研究的问题开启了研究空间，尤其是理论研究方面。

Jan, 2024

非自然语言处理：语言模型如何处理机器生成的提示？

语言模型提示优化研究表明，通过无明显意义或语法结构的自动生成的令牌序列，包括模型嵌入空间中的向量序列，通常胜过语义和语法良好的手工制作的提示。我们使用机器生成的提示来探究模型对非自然语言表达组成的输入的响应，并在多个语义任务中研究不同尺寸模型的行为，以及它们对连续和离散机器生成的提示和人工生成的自然语言提示的响应行为进行比较。即使产生相似的输出，机器生成的和人工提示通过网络处理途径触发不同的响应模式，包括不同的困惑度、不同的注意力和输出熵分布，以及不同的单元激活特征。我们提供了对不同提示类型激活的单元性质的初步洞察，表明只有自然语言提示才会引起真正的语言电路的激活。

Oct, 2023

利用影响函数解释黑盒预测并揭示数据畸形

该研究探讨使用影响函数解释 NLP 模型的决策，并与基于词汇显著性的方法进行比较。该方法被发现特别适用于自然语言推理这样复杂的任务，并且还开发了一种基于影响函数的新的定量衡量方法，可以揭示训练数据中的人为制品。

May, 2020

代码生成模型的多语言评估

本文提出了新的基准测试，包括 MBXP，Multilingual HumanEval 和 MathQA-X，以测试多语言环境下代码生成模型的性能，并发现了多语言模型的优势，以及通过 few-shot prompting 实现对模型新语言的教学能力和在单语言环境下的 zero-shot translation 能力。同时，作者还利用其代码生成模型在多种语言上实现了大规模引导过程，产生了其他与代码相关的评估任务中使用的合成规范解决方案。

Oct, 2022