Jun, 2023

RAPGen: 一种用于零样本修复代码低效性的方法

PDF
TL;DR本研究提出了一种名为 “Retrieval-Augmented Prompt Generation (RAPGen)” 的新方法，可以使用预构建的知识库来检索以前的性能缺陷修复，并生成优化建议，其可以在零样本学习条件下与开发人员相当甚至更优地修复性能缺陷。
performance bugsretrieval-augmented prompt generationknowledge-baselarge language model (llm)performance improvement suggestions
发现论文，激发创造
  • RAP-Gen：用 CodeT5 进行检索增强的修补补丁生成自动程序修复

    自动程序修复是减少开发人员手动调试努力并提高软件可靠性的关键。本文提出了一种新颖的检索增强型修补生成框架（RAP-Gen），通过明确利用从以前的错误修复对的代码库中检索出的相关修复模式来简化参数模型的负担，进而自动化程序修复过程。实验结果表明，RAP-Gen 在所有基准测试中显著优于先前的最先进方法，例如在 818 个 Defects4J 错误上修复了 15 个更多的错误。

    Sep, 2023

  • 基于检索辅助生成的大型语言模型中的提示扰动

    本研究通过引入一种新的优化技术（称为 GGPP），系统评估了在 Retrieval-Augmented Generation 模型上插入前缀对输出结果的影响，并通过神经元激活差异提供了一种改善该模型的鲁棒性的方法。

    Feb, 2024

  • 预训练代码智能语言模型的遗传自动提示学习

    作为预训练语言模型（PLM）的流行方法之一，为了解决其使用的计算成本过高的问题，我们研究了最近在自然语言处理领域中出现的一种潜在解决方案，即 prompt learning。我们发现现有的自动提示设计方法在代码智能任务中非常有限，无法达到预期效果。为了解决这两个问题，我们提出了一种名为 Genetic Auto Prompt（GenAP）的自动设计提示的细致遗传算法。GenAP 无需梯度或额外的计算成本，既无梯度又节约成本。此外，GenAP 在代码智能任务的理解和生成类型都有很好的适用性。我们对三个流行的代码智能 PLMs 进行了 GenAP 的实验，包括缺陷预测、代码摘要和代码翻译。实验结果表明，GenAP 可以有效自动化设计提示的过程，并在所有三个任务中优于其他方法（例如，缺陷预测的准确率平均提高了 2.13%）。据我们所知，GenAP 是第一个为代码智能 PLMs 自动设计提示的工作。

    Mar, 2024

  • 带检索增强条件提示调优的新颖性控制改写生成

    本文提出了参数效率的 Retrieval Augmented Prompt Tuning（RAPT）和使用专门的提示标记的 Novelty Conditioned RAPT（NC-RAPT）作为控制不同水平词汇新颖性的简单模型无关方法，通过在四个数据集上进行广泛实验，证明了所提出的方法在诱导语义内容的同时诱导词汇新颖性的有效性。

    Feb, 2022

  • ReGen: 通过渐进式稠密检索生成训练数据进行零样本文本分类

    本研究提出了一个检索增强的框架，使用特征描述性词语作为 dense retriever，从无标注的语料库中创建训练数据，以便在与基于大型自然语言生成模型相比节省 70% 的时间内，取得优于最强基线 4.3% 的成绩。

    May, 2023

  • GPS: 基因提示搜索用于高效的少样本学习

    本文介绍了使用遗传算法自动搜索高性能提示信息的 Genetic Prompt Search（GPS）来改善少样本学习的性能，该方法不需要模型参数更新，只需要一个小型验证集。实验结果表明，GPS 比手动提示信息的性能高出 2.6 个百分点，并且比其他参数高效调整方法更好。

    Oct, 2022

  • Prompt-RAG：开拓向量嵌入自由的检索增强生成技术在细分领域中的应用，以韩医药为例

    我们提出了一种自然语言提示增强生成式大型语言模型性能的新方法，即 Prompt-RAG，与传统的 RAG 模型不同，它不需要嵌入向量，在问答聊天机器人应用中，Prompt-RAG 在相关性和信息性方面优于现有模型。

    Jan, 2024

  • 建立非专业化 LLM 用户的微调、增强检索生成和软提示的性能基准

    通过细调、检索增强生成（RAG）和软提示等方法提高大型语言模型（LLMs）的性能的研究一般侧重于使用高度技术性或高成本的技术，使许多新发现的方法对非技术用户相对不可访问。在本文中，我们测试了未修改版本的 GPT 3.5，经过细调的版本，以及相同的未修改模型在访问矢量化的 RAG 数据库时，单独或与基本的非算法软提示相结合。每种情况下，我们测试了模型回答一组 100 个与 2021 年 9 月之后（GPT 3.5 的训练数据集结束的时间点）相关的事件问题的能力。我们发现，如果使用商业平台并应用默认设置以建立基准输出集，经过细调的模型优于 GPT 3.5 Turbo，而 RAG 方法优于两者。应用软提示显著提高了每种方法的性能。

    Nov, 2023

  • 个性化推荐语言模型的个性化自动提示

    我们提出了 PAP-REC，一种用于生成个性化自动提示的 RECommendation 语言模型的框架，旨在解决手动设计提示的低效和低效问题，并通过实验证明自动生成的提示优于手动构造的提示和各种基线推荐模型。

    Feb, 2024

  • 基于检索增强的生成模型用于知识密集型自然语言处理任务

    探索一种以维基百科作为参数内存和通过神经检索器访问的显式非参数内存的 pre-trained 具有差异访问机制的 RAG 模型，它可用于在广泛的与知识有关的 NLP 任务中取得 state-of-the-art 的表现。

    May, 2020