Mar, 2024

预训练代码智能语言模型的遗传自动提示学习

PDF
TL;DR作为预训练语言模型（PLM）的流行方法之一，为了解决其使用的计算成本过高的问题，我们研究了最近在自然语言处理领域中出现的一种潜在解决方案，即 prompt learning。我们发现现有的自动提示设计方法在代码智能任务中非常有限，无法达到预期效果。为了解决这两个问题，我们提出了一种名为 Genetic Auto Prompt（GenAP）的自动设计提示的细致遗传算法。GenAP 无需梯度或额外的计算成本，既无梯度又节约成本。此外，GenAP 在代码智能任务的理解和生成类型都有很好的适用性。我们对三个流行的代码智能 PLMs 进行了 GenAP 的实验，包括缺陷预测、代码摘要和代码翻译。实验结果表明，GenAP 可以有效自动化设计提示的过程，并在所有三个任务中优于其他方法（例如，缺陷预测的准确率平均提高了 2.13%）。据我们所知，GenAP 是第一个为代码智能 PLMs 自动设计提示的工作。
pre-trained language modelsprompt learningcode intelligencegenetic auto promptautomatically design prompts
发现论文，激发创造
  • AutoPrompt: 使用自动生成的提示从语言模型中引导知识

    利用自动化方法生成的 AutoPrompt，我们展示了预训练语言模型在自然语言推理、情感分析和关系提取方面的潜在能力，以及自动生成的提示方法是现有探究方法的一个可行的无参数替代方法。

    Oct, 2020

  • 大型语言模型是人类水平的提示工程师

    使用语言模型作自然语言指导的条件，我们提出了自动提示工程师（APE），通过搜索竞选一组精心设计的自动生成的提示中的最佳提示来优化指令来解决 NLP 任务中的性能问题，并实现对模型的更好的指导和性能提升。在 24 个任务中，通过自动产生的新指令，我们的 APE 方法可使性能提高，并在 19 个任务中的性能甚至好于人类注释者生成的指令。通过大量定性和定量分析，我们证明了 APE 的有效性。

    Nov, 2022

  • GPS: 基因提示搜索用于高效的少样本学习

    本文介绍了使用遗传算法自动搜索高性能提示信息的 Genetic Prompt Search（GPS）来改善少样本学习的性能，该方法不需要模型参数更新，只需要一个小型验证集。实验结果表明，GPS 比手动提示信息的性能高出 2.6 个百分点，并且比其他参数高效调整方法更好。

    Oct, 2022

  • 使用 “梯度下降” 和束搜索优化自动提示

    本文提出了一种自动优化提示技术（APO）来改进 Large Language Models（LLMs）的图灵能力，APO 采用数值梯度下降的方法来自动更改提示语并带来了很大的效率提升和预测性能的提升。

    May, 2023

  • 长提示的自动工程化

    我们研究了自动的长提示工程算法，证明了贪婪算法和遗传算法在搜索效率方面的优越性，并引入了两种利用搜索历史增强搜索算法效果的新技术。我们的研究结果表明，该算法在 Big Bench Hard 的八个任务中实现了平均 9.2% 的准确度提升，突显了自动化提示设计对充分利用 LLMs 的能力的重要性。

    Nov, 2023

  • 大型语言模型的自动提示选择

    自动选择给定输入的最佳提示，克服手动设计有效提示的挑战，通过聚类训练数据、生成候选提示、生成输入 - 提示 - 输出数据集以训练评估器，并使用评估器在测试时选择最佳提示来实现兼顾通用性和特异性的方法。在零 - shot 问答数据集上显示出竞争性性能。

    Apr, 2024

  • AdaPrompt：基于提示的自然语言处理自适应模型训练

    通过利用任务和提示的特征，AdaPrompt 使预训练语言模型不断预训练，提高了 NLP 方面几个基准测试中的表现，在零样本情况下相对误差降低了高达 26.35％。

    Feb, 2022

  • SpeechGen：利用提示释放语音语言模型的生成力量

    本文介绍了一种名为 SpeechGen 的框架，使用 10M 个可训练参数，探索了提示调整方法来刺激语音语言模型进行各种生成任务，为更高效和有效地生成任务提供了前景。

    Jun, 2023

  • 利用可解释自动提示的语言模型解释数据中的模式

    本文探讨利用大型语言模型的学习能力来发现和解释数据中的模式，并提出了一种名为 iPrompt 的算法来生成自然语言字符串，从而实现可解释的自动提示，用于帮助数据分析、科学发现和信息处理等领域。

    Oct, 2022

  • 推进 GenAI 辅助程序编写 ——GPT-4 和 GLM-4 的提示效率与代码质量比较研究

    本研究旨在通过对 GPT-4 和 GLM-4 的比较分析，探索将 GenAI 作为编程工具的最佳实践。通过评估不同复杂程度的提示策略，我们发现最简单和直接的提示策略可以产生最佳的代码生成结果。此外，添加类似于 CoT 的初步确认步骤将进一步提高成功率。结果显示，在普通用户中，虽然 GPT-4 略胜一筹，但差异微乎其微。在我们简化的评估模型中，与传统的编码规范相比，代码生成效率惊人地提高了 30 至 100 倍。我们的 GenAI 编码讲习班展示了本研究中开发的提示方法的效果和可访问性。我们观察到 GenAI 辅助编码将引发编程领域的一次范式转移，这需要开发人员承担围绕监督和指导 GenAI 的新角色，并更加专注于设定高层目标并积极参与创新。

    Feb, 2024