EMNLPJan, 2022

CodeRetriever: 用于代码搜索的单模态和双模态对比学习

PDF
TL;DR本文提出了 CodeRetriever 模型，通过大规模的代码 - 文本对比预训练学习功能级别的代码语义表示，并采用单模态对比学习和双模态对比学习两种对比学习方案，以通过文档、函数名称和代码 - 文本对建立语义相关的代码对和代码 - 文本对，在不同代码粒度的 11 个领域 / 语言特定的代码搜索任务中，CodeRetriever 取得了新的最高水平，有效性和鲁棒性得到证明。
coderetrievercontrastive pre-trainingfunction-level code semantic representationunimodal contrastive learningbimodal contrastive learning
发现论文，激发创造
  • 自监督对比学习：基于语义保持转换实现代码检索和摘要

    Corder 是一种自监督对比学习框架，用于源代码模型，通过使用一组语义保持变换操作来生成在语法上具有多样性但在语义上是等效的代码片段，从而能够在没有标记数据的情况下进行代码检索和代码摘要。

    Sep, 2020

  • 对比代码表示学习

    本文介绍了应对在自然语言生成中源代码编辑的二义性问题的解决方案 ——ContraCode，通过对许多非等价程序的功能相似变体进行对比预训练的方式来实现源代码功能性的学习，并在 JavaScript 总结和 TypeScript 类型推断准确性上取得了较大的提升。

    Jul, 2020

  • 通过双向学习利用代码生成提高代码检索和概述质量

    本文提出了一个新的端到端模型来同时处理代码摘要生成和检索两个任务通过引入额外的代码生成任务，利用双向学习明确地利用了代码摘要和代码生成之间的概率相关性，通过多任务学习利用用于代码摘要和代码生成的两个编码器训练代码检索任务。作者在现有的 SQL 和 Python 数据集上进行了广泛的实验，结果表明，我们的模型可以显著提高代码检索任务的结果，同时在代码摘要任务的 BLEU 得分方面也能够达到竞争性的性能。

    Feb, 2020

  • 多模态情感分析中的单模编码和跨模态预测的多模态对比学习

    本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。

    Oct, 2022

  • 无监督对比学习密集信息检索

    本文介绍一种无监督训练的密集感知器，使用对比学习 (contrastive learning) 的方法，提高了信息检索的性能，并在多语言检索中表现出强大的跨语言转移能力。

    Dec, 2021

  • 检索增强代码生成与摘要

    该研究提出了一个检索增强框架 REDCODER，用于检索相关的代码或摘要，作为代码生成或总结模型的补充，实现了与检索数据库的交互。这个机制可以扩展检索技术的功能，适用于含有不同模态的检索数据库，并在 Java 和 Python 的代码生成和摘要的基准数据集上得到了良好的实验结果。

    Aug, 2021

  • SynCoBERT：针对代码表示的语法引导的多模式对比预训练

    本文提出了 SynCoBERT—— 一种语法引导的，多模态对比预训练方法，旨在更好地表示代码，其中设计了两种新的预训练目标 —— 标识符预测和 AST 边缘预测，并提出了多模态对比学习策略来最大化不同模态之间的互信息。经过广泛的实验，SynCoBERT 在与相同的预训练语料库和模型大小进行比较时，提高了与代码智能相关的四个下游任务的最新性能。

    Aug, 2021

  • CODER: 用于图像 - 文本检索的耦合多样性感知动量对比学习

    本文提出了一种基于对比学习的新型跨模态表征方法 Coupled Diversity-Sensitive Momentum Constrastive Learning（CODER），通过引入动态字典和适应性负对权重，使用实例级嵌入和概念级描述符提高跨模态表征，经过对 MSCOCO 和 Flicker30K 数据集的大量实验，CODER 明显优于当前基准方法。

    Aug, 2022

  • 关于代码到代码搜索的语义相似性对比学习

    本文介绍了一种新的代码到代码搜索技术，通过包括静态和动态特征以及在训练过程中利用相似和不同的示例来提高大型语言模型的性能。我们展示了第一个能够在训练期间编码动态运行时信息的代码搜索方法，在推断时间无需执行搜索语料库或搜索查询，同时还是第一个训练正负参考样本的代码搜索技术。我们通过一系列研究验证了我们方法的有效性，并展示了增强 LLMs 执行跨语言代码到代码搜索的能力。我们的评估表明，我们的方法的效果在各种模型架构和编程语言中都是一致的。此外，我们的消融研究表明，即使在训练过程中只有一个正面和负面参考样本，也会产生相当大的性能提高，这证明了相似和不同的参考是代码搜索的重要部分。重要的是，我们展示了精心制作的、经过调整的模型在性能上始终优于未调整的更大的现代 LLMs，即使是在增强最大可用 LLMs 时也是如此，这凸显了开源模型的重要性。为了确保我们研究的可重复性和可扩展性，我们介绍了一个名为 Cosco 的开源实现和培训过程

    May, 2023

  • 使用码内存的对比量化方法进行无监督图像检索

    本文提出了一种新颖的无监督深度量化方法，名为具有代码内存的对比量化（MeCoQ），该方法通过对比学习学习无监督二进制描述符，可以更好地捕获有区别的视觉语义并避免模型退化。实验结果显示，该方法在基准数据集上优于现有最先进的方法。

    Sep, 2021