使用检索式建模的思想，为会话助手的多领域任务定向语义解析问题引入了 RetroNLU 方法，通过在序列到序列模型中扩展检索部件，我们的技术在语义解析的不同语言表达复杂度下均比基线更为出色，尤其是在数据稀缺环境下，只需 40％的数据即可达到基线模型准确度的匹配，超越基线方法 1.5％的绝对宏 - F1。

Sep, 2021

本文介绍了一种新的语义解析设置，使用户能够使用自然语言问题和图形用户界面内的操作查询系统。我们设计了一个基于 LSTM 的编码器 - 解码器架构，通过复制机制和多级输入和先前输出的注意力来建模上下文依赖性。使用策略梯度训练该架构可进一步提高性能，在人工数据上达到了 88.7% 的序列级准确度，在实际数据上达到了 74.8%。

May, 2019

本文探讨了一种简单而有效的以解耦编码器解码器为基础的架构来将外部语境整合到语言模型中，从而提高参数效率、可解释性和模块化；研究表明，这种架构在自回归语言模型和开放领域问答任务中表现出竞争力，并进行了具体分析。同时，我们还探讨了增强检索模型的计算含义。

Oct, 2022

通过选择性检索和自我评估，本文提出了一种选择性检索和生成框架，以在大型代码库级别的代码自动补全中提高生成模型的准确性和效率。

Mar, 2024

本文提出使用搜索引擎检索并选择一些语义相关的文本来找到句子的外部上下文。我们发现，使用合作学习训练模型，可以更好地利用外部上下文提高模型的性能，在 5 个领域的 8 个数据集上取得了最新的最佳成绩。

May, 2021

本文对语境建模方法在真实语义解析中的应用进行了探究，并提出了一种基于语法解码的语义解析器，适用于各种复杂领域。我们评估了 13 种语境建模方法，分析了最常见的语境现象，发现最佳模型在两个大型跨领域数据集上都取得了最先进的性能表现。

Feb, 2020

这项研究探讨了使用代码流畅的大型语言模型（LLMs）进行存储库级代码编辑的最新进展，着重解耦上下文检索的任务以评估其组件的优劣，并指出推理在上下文获取中提高准确性的作用，但仍无法确定其充分性及专用工具在该过程中的最终角色。

Jun, 2024

本文提出了一种利用元学习和弱监督自动学习检索模型的程序员 - 解释器方法，在复杂问题回答方面实现了最先进的性能。

Oct, 2020

通过引入 Contextual Document Embedding Reranking (CODER)，可以显著提高基于对比学习的密集检索模型的检索性能，特别是当更多的相关信息可用时，如在 TripClick 集合中观察到的情况下，可以获得大幅度的改进并取得新的最优结果。

Dec, 2021

在这项工作中，我们提出了一种元学习算法，通过在推理过程中学习新的视觉概念而无需微调，模拟了类似大型语言模型的能力。我们的方法利用一个冻结的预训练特征提取器，并将元学习重新构造为对具有已知标签的数据点和具有未知标签的测试数据点进行序列建模，从而在 11 个元学习基准中的 8 个中，超过或与元训练于这些基准的最先进算法 P>M>F 相匹配，而无需元训练或微调。

Oct, 2023