EMNLPMar, 2022

RACE：基于检索增强的提交信息生成

PDF
TL;DR本文提出了一种新的检索增强的神经提交信息生成方法 RACE，利用检索得到的类似提交信息作为样本，并利用它生成准确的提交信息。同时，作者还提出了一个范例导向器，它可以学习检索与当前代码差异的语义相似性，然后根据相似性指导提交消息的生成。实验结果表明，在五种编程语言的大型公共数据集上，RACE 的性能优于所有基线模型，并且可以提高现有的 Seq2Seq 模型在提交消息生成方面的性能。
commit messagesneural networkraceretrieval-augmentedseq2seq models
发现论文，激发创造
  • 评估提交消息生成模型：一项实验研究

    本文通过系统深入分析现有模型和数据集，发现不同 BLEU 指标的使用影响了现有方法的评估和理解，大多数现有数据集仅来自 Java 存储库，而其他编程语言的仓库则未得到充分探索，分割策略可以极大地影响现有模型的性能。基于我们的发现，我们进行人类评估并找到最能与人类得分相关的 BLEU 指标，我们还收集了大规模、信息丰富、多语言的提交消息数据集，MCMD，并在此数据集上评估了现有模型。我们还进行了不同数据集分割策略的广泛实验，并提出了适合不同情况的合适模型。基于实验结果和发现，我们提供了全面评估提交消息生成模型并探讨可能的未来研究方向的可行建议。我们相信这项工作可以帮助从业者和研究人员更好地评估和选择自动提交消息生成模型。

    Jul, 2021

  • 使用神经机器翻译从差异中自动生成提交消息

    该论文介绍了利用 Neural Machine Translation 技术将 diffs 转化为 commit messages 的方法，并进行了模型训练和评估，同时提出了质量过滤器来保证生成 commit messages 的质量。

    Aug, 2017

  • 从提交信息生成到具有历史意识的提交信息补全

    该论文提出了两个新颖的想法：从生成提交消息转向完成提交消息，并使用之前的提交历史作为额外的上下文，以提高生成提交消息的质量和个性化程度。他们使用自己收集的名为 CommitChronicle 的新数据集来评估这些新想法，并发现在某些情况下，提交消息的完成表现出比生成更好的结果，并且历史信息能够改善 CMG 模型和 GPT-3.5-turbo 在生成和完成任务中的性能。

    Aug, 2023

  • 基于抽象语法树和混合排名的 ATOM 提交消息生成

    本文提出了一种新的提交信息生成模型 ATOM，通过表示代码更改的抽象语法树来集成检索和生成信息，并通过混合排序模块优先考虑一个代码更改的最准确信息，实验结果表明 ATOM 在生成代码提交信息方面显著优于现有模型。

    Dec, 2019

  • R.A.C.E.：强健的对抗概念擦除用于安全的文本到图像扩散模型

    为应对生成敏感内容的风险，本研究提出了一种新方法 Robust Adversarial Concept Erase (RACE)，通过增强概念抹除方法的鲁棒性，显著降低了对抗性文本嵌入的攻击成功率，成功减少了 “裸露” 概念攻击的 ASR 攻击率 30 个百分点，并在对抗白盒与黑盒攻击中展现了有效性，为保护文本到图像扩散模型免受生成不当或误导性图像的需求提供了明显进展，并强调了积极防御措施在适应快速发展的对抗性挑战领域中的重要性。

    May, 2024

  • EMBRACE: 评估和修改以提升 RACE

    本文针对英语的机器阅读理解中的 RACE 数据集进行了详细的测试和分析，评估了数据集中多项选择问题的难度，并对基准文本做了注释。研究发现多数多项选择问题未能满足阅读理解任务的基本要求，同时发现基准文本的位置分布存在偏差，这可能对多项选择问题的回答和生成模型的评估造成不利影响。

    May, 2023

  • CommitBERT：使用预训练的编程语言模型生成提交信息

    研究使用神经机器翻译（NMT）模型，使用 345K 的包含代码修改和提交信息的数据集，采用编码器和解码器的方法自动生成提交消息，并使用两种训练方法进一步提高生成提交信息的质量。

    May, 2021

  • 基于检索的长尾视觉识别分类

    提出了 Retrieval Augmented Classification (RAC) 方法，并应用于解决长尾分类问题，通过显式引入检索模块，使用非参数化外部内存信息显著提高了 Places365-LT 和 iNaturalist-2018 数据集的性能，尤其是在尾部类别上，为计算机视觉体系结构中更有效地利用外部存储器提供了替代方案。

    Feb, 2022

  • KADEL: 知识感知去噪学习用于提交信息生成

    基于我们的经验研究，我们发现在好的实践提交的训练上对提交信息生成具有显著的贡献。通过此发现的启发，我们提出了一种名为 KADEL 的新型知识感知去噪学习方法。我们的实验结果表明，与先前的方法相比，我们的方法在整个 MCMD 数据集上总体上达到了最先进的性能。

    Jan, 2024

  • 像教育专家一样提问：自动化生成基于真实考试数据的问答配对

    本文介绍了一个针对实际考试数据的新的统一框架，通过自动生成关键词，用多智能体通信模型生成和优化问题和关键词，然后应用模型生成的问题和关键词指导答案生成，从而使问题答案对生成任务取得了显著突破。

    Sep, 2021