记忆化泛化：最近邻语言模型

ICLRNov, 2019

Generalization through Memorization: Nearest Neighbor Language Models

Urvashi Khandelwal, Omer Levy, Dan Jurafsky, Luke Zettlemoyer, Mike Lewis

TL;DR引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练。此外，作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用，并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。

Abstract

We introduce $k$NN-LMs, which extend a pre-trained neural language model (LM) by linearly interpolating it with a $k$-nearest neighbors ($k$NN) model. The nearest neighbors are computed according to distance in the pre-trained LM embedding space, and can be drawn from any text collecti

knn-lms neural language model perplexity domain adaptation nearest neighbor search

发现论文，激发创造

高效的最近邻语言模型

本文探讨了如何提高非参数神经语言模型的效率，实验表明我们的方法能够在保持性能相当的情况下提高 6 倍的推理速度，为以后开发或部署更有效的非参数神经语言模型提供指南。

Sep, 2021

最近邻语言模型为什么有效？

本文探究检索增强语言模型及 k - 最近邻语言模型相较于传统参数化语言模型进行下一个单词预测时为何表现更佳的原因，并发现使用不同输入表示、近似最近邻搜索、以及 kNN 分布的 softmax 温度是关键因素，进而将这些启示融入传统语言模型的模型架构和训练方法来提升其表现。

Jan, 2023

邻居非自选：关于 $k$NN-LM 中如何选择何时依赖检索

研究了基于检索增强的语言模型中 $k$NN-LM 中检索文本的词汇和语义匹配对于性能的影响，并通过使用检索结果质量确定插值系数的新表述，成功地提高了英文语言建模数据集 Wikitext-103 和 PG-19 中的困惑度近 4%。

Oct, 2022

最近邻语言模型的自适应方法

本论文探讨了如何利用适配器和重排序模块等方法改进半参数最近邻语言模型（$k$NN-LMs）在新领域的适用性，实验证明结合多种方法后平均可以提高 17.1％的困惑度。

Nov, 2022

论检索增强和语言模型训练的局限性

这项研究探讨了将 kNN 检索应用于 GPT-2 117M 等传统语言模型中，以提高性能，证实了通过这种方法可以降低困惑度，并解释了这一现象的潜在原因。

Nov, 2023

重访预训练语言模型的 k-NN

本文介绍了如何将 k - 最近邻分类器与预训练语言模型相结合以提高自然语言处理的效率，具体方法是采用 k - 最近邻分类器对预训练语言模型进行文本表示，通过校准训练过程来掌握具体实例的困难度，并将校准结果与预训练语言模型的分类器相结合。

Apr, 2023

通过最近邻校准提高语言模型的少样本性能

本文提出了一种基于最近邻校准框架的预训练语言模型（PLMs）的上下文学习方法，该方法获得了显著的改进，并在某些情感分析任务中实现了与基于调优的方法相当的性能。

Dec, 2022