该论文通过引入可检索增强的大型语言模型（LLMs），拓展了检索增强 LLMs 的应用领域，以代码生成为例，并提出了一种新颖的可训练架构，将可检索实体注入到 LLM 解码器中，以解决现有模型在相似实体名之间无法分配相关性分数的问题，并在多个场景下超越常见基准模型，包括项目级代码生成、Bash 和 SQL 脚本。

Dec, 2023

我们提出了一种迭代检索 - 生成的协作框架，该框架可以利用参数化和非参数化知识，帮助找到正确的推理路径，并显著提高大型语言模型的推理能力。实验结果显示我们的方法优于之前的基线模型，在单跳和多跳问答任务上取得了显著的改进。

Oct, 2023

本文提出了一个新的端到端模型来同时处理代码摘要生成和检索两个任务通过引入额外的代码生成任务，利用双向学习明确地利用了代码摘要和代码生成之间的概率相关性，通过多任务学习利用用于代码摘要和代码生成的两个编码器训练代码检索任务。作者在现有的 SQL 和 Python 数据集上进行了广泛的实验，结果表明，我们的模型可以显著提高代码检索任务的结果，同时在代码摘要任务的 BLEU 得分方面也能够达到竞争性的性能。

Feb, 2020

本研究提出了使用检索增强机制和动态图神经网络结构来生成源代码摘要的方法，并在大规模的开源项目数据集上进行了实验，在 ROUGE-L，BLEU-4 和 METEOR 等方面取得了最先进的结果。

Jun, 2020

提出并研究了注释代码搜索：使用自然语言查询检索与简短描述其意图的代码片段。通过在三个基准数据集上研究如何利用描述来更好地捕捉代码片段的意图，建立了一种用自然语言描述注释的领域特定检索模型。发现相对于不使用描述但仅尝试从未注释的代码中计算片段意图的最新代码检索方法，我们的模型可以获得显著更相关的搜索结果（平均倒数排名的绝对增益高达 20.6％）。

Aug, 2020

通过对代码搜索中的样例代码进行生成和重写，我们提出了一种简单而有效的方法来解决代码风格偏差的问题，并引入了用于量化代码风格相似性的度量指标 Code Style Similarity。实验证明，这种方法在不同的搜索场景中显著提高了检索准确性。

Jan, 2024

本文总结了我们在第九届对话系统技术挑战赛（DSTC 9）第一轨中的工作，我们提出了一种基于层次分类和序列嵌入的检索和生成方法，以实现针对任务导向对话中利用非结构化文本信息的回答生成。

Feb, 2021

研究发现传统的语言模型在生成代码方面有一定困难，通过提供外部上下文信息如库文档可以改善代码生成效果。通过系统性的大规模分析，发现在何种场景下使用检索增强生成模型能够对代码生成产生帮助，并且存在改进的空间。通过创建了一个综合评估基准，CodeRAG-Bench，涵盖了基本编程、开放域和代码库级别的代码生成任务，实现从五个来源中检索上下文，结果显示在不同设置中通过检索高质量上下文能够提升最终代码生成效果，同时也揭示了当前检索器在词汇重叠有限的情况下仍然难以获取有用的上下文，并且生成器在上下文长度有限或者无法整合额外上下文的能力上存在不足。希望 CodeRAG-Bench 能够成为有效的测试平台，促进进一步开发针对代码导向的检索增强生成方法。

Jun, 2024

为 Adobe 产品建立内部问答系统，提出了一种新的框架来编译大型问答数据库并发展了基于检索感知的大型语言模型微调方法，展示了微调检索器在最终生成中带来的重大改进，降低了生成过程中的幻觉并在上下文中保留了最新的检索信息以实现情境基础。

Apr, 2024

利用大型语言模型的语义知识生成针对数据的问题和相应的代码，通过实证研究表明嵌入可以有效地用于过滤语义不相符的问题和代码对，并发现生成问题和代码可以产生更多样的问题。

Mar, 2024