Dec, 2023

源代码摘要的提示学习框架

PDF
TL;DR本文提出了一种用于代码摘要的新型提示学习框架，称为 PromptCS，该框架训练了一个能够生成连续提示的提示代理，以释放大语言模型在代码摘要中的潜力，相比于人工编写的离散提示，连续提示更易于大语言模型理解。PromptCS 在 CodeSearchNet 数据集上的评估结果表明，优于所有四个广泛使用的度量标准的指导学习方案，并且在某些基础大语言模型上，例如 CodeGen-Multi-2B 和 StarCoderBase-1B 和 - 3B，甚至优于任务导向的微调方案。重要的是，PromptCS 的训练效率比任务导向的微调方案更快，在较大的大语言模型上具有更明显的优势。人工评估的结果表明，与基准相比，PromptCS 能够生成更好的摘要。
发现论文，激发创造
  • PSP: 面向少样本抽象摘要的预训练软提示

    通过新颖的软提示体系结构和提示预训练加微调范式，研究了少样本主动式摘要生成的挑战性任务，使得模型仅调整了极少数的参数。结果显示，与调整所有模型参数的完全模型调优相比，我们的方法在 CNN/DailyMail 和 XSum 数据集上表现得更好，同时也超过了大规模加提示的 Prompt Tuning，并使用只有 3% 的模型参数的 Prefix-Tuning 取得了有竞争力的结果。

    Apr, 2022

  • 代码提示：一种用于大型语言模型中的复杂推理的神经符号方法

    本研究提出了一种叫做 code prompting 的新型神经符号提示方法，通过触发代码作为中间步骤，以实现符号和算术推理任务一直面对的语言及理解难题。经过对七项广泛使用的基准测试进行实验验证，研究者发现 Code Prompting 方法通常优于 Chain-of-Thought（CoT）Prompting。他们还考虑了代码提示和 CoT 提示的融合来结合两者的优点。最后，通过实验证明，代码注释及其位置如何影响代码提示。

    May, 2023

  • CodePrompt: 通过提示学习提升源代码相关分类的知识特征

    CodePrompt 是一种新颖方法，利用 prompt 学习和注意机制从预训练模型中召回丰富的知识来提高源代码相关的分类任务的准确性。该方法避免了需要额外的神经网络层和降低计算成本，并采用注意机制来聚合多层相关知识作为最终特征，从而在准确度方面达到新的最佳性能，并具备节省计算成本的能力。

    Jan, 2024

  • ESALE：增强源代码摘要对齐学习的方法

    通过多任务学习范式，利用三个以摘要为重点的任务训练编码器，提出了一种新的改进代码摘要的方法，这三个任务包括单向语言建模（ULM）、掩码语言建模（MLM）和动作词预测（AWP）。实验证明，我们的方法 ESALE 在四个数据集上的表现明显优于基线模型，包括 BLEU、METEOR 和 ROUGE-L 三个广泛使用的指标。

    Jul, 2024

  • 利用内容计划促进科学文章的摘要生成

    该论文提出了一种新颖的提示技术，以提高科学文章的自动摘要系统的性能。通过提供额外的上下文信息来引导摘要系统，并使用从文章中提取的关键词列表进行输入。实验证明了提示方法的效果，特别是对于单独摘要各个部分的较小模型而言，突出了提示是克服较弱系统局限性的一种有前途的方法。我们的发现引入了使用提示来辅助较小模型的新研究方向。

    Dec, 2023

  • 探索使用提示的大型语言模型作为可解释的度量

    本文描述了 IUST NLP 实验室在 Eval4NLP 2023 会议上提出的一种用于解释性评估的零样本基于提示的策略，该策略使用了大型语言模型（LLMs）来评估总结任务，并通过实验证明了 LLMs 在自然语言处理（NLP）中，特别是在总结领域具有良好的潜力。在这些实验中，使用了少样本和零样本的方法。最佳提示在测试数据的文本总结任务中与人类评估的肯德尔相关性达到了 0.477。代码和结果可以在 GitHub 上公开获取。

    Nov, 2023

  • CSEPrompts：一项初级计算机科学提示的基准

    AI 生成的内容在大规模自然语言处理模型与 CS 教育中的影响及潜在滥用的研究成果

    Apr, 2024

  • 一种源代码摘要的抽取和生成框架

    本研究提出了一种新的抽取式 - 生成式混合框架来自动生成代码摘要，该框架结合了抽取式方法和生成式方法，能够提取关键的事实性细节，并生成简明、类似于人工撰写的自然语言摘要，实验证明 EACS 显著优于现有的技术，包括 BLEU，METEOR 和 ROUGH-L 等三个广泛使用的评估指标。

    Jun, 2022

  • 通过双向学习利用代码生成提高代码检索和概述质量

    本文提出了一个新的端到端模型来同时处理代码摘要生成和检索两个任务通过引入额外的代码生成任务，利用双向学习明确地利用了代码摘要和代码生成之间的概率相关性，通过多任务学习利用用于代码摘要和代码生成的两个编码器训练代码检索任务。作者在现有的 SQL 和 Python 数据集上进行了广泛的实验，结果表明，我们的模型可以显著提高代码检索任务的结果，同时在代码摘要任务的 BLEU 得分方面也能够达到竞争性的性能。

    Feb, 2020

  • 探索面向代码生成模型的持续学习

    本文介绍了一种名为 CodeTask-CL 的新颖基准测试，针对静态代码生成等多样的编码任务，比较了 NLP 和 Vision 领域中的几种不同的 Continual Learning 技术，提出了一种名为 Prompt Pooling with Teacher Forcing（PP-TF）的新的稳定训练的技术，取得了 21.54% 的改进效果，为大规模编码体系中的 Continual Learning 方法的进一步发展提供了支持。

    Jul, 2023