该论文介绍了如何结合 k 最近邻算法与信息论来解决机器学习模型复杂度与可解释性之间的矛盾，以实现全面审计的机器学习和人工智能技术

Jan, 2019

本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

Mar, 2018

本文介绍了利用监督动量对比学习框架和 KNN 分类器结合 fine-tuning 的方法，以学习聚类表示来提高预训练模型的 Robustness 和 Stability，测试结果表明此方法可显著提高文本分类任务中的准确度和对抗性鲁棒性。

Oct, 2021

引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练。此外，作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用，并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。

Nov, 2019

本文介绍了如何将 k - 最近邻分类器与预训练语言模型相结合以提高自然语言处理的效率，具体方法是采用 k - 最近邻分类器对预训练语言模型进行文本表示，通过校准训练过程来掌握具体实例的困难度，并将校准结果与预训练语言模型的分类器相结合。

Apr, 2023

本文探究检索增强语言模型及 k - 最近邻语言模型相较于传统参数化语言模型进行下一个单词预测时为何表现更佳的原因，并发现使用不同输入表示、近似最近邻搜索、以及 kNN 分布的 softmax 温度是关键因素，进而将这些启示融入传统语言模型的模型架构和训练方法来提升其表现。

Jan, 2023

使用 k 近邻（kNN）组件提高语言模型性能，进而结合 BERT 与传统信息检索（IR）和大型文本嵌入数据存储的 kNN 搜索提高开放域问答的召回率。实验结果证明，BERT-kNN 在题型填空问答方面比 BERT 表现更优，尤其在处理罕见事实和未在 BERT 训练集中涉及的事实方面表现突出。

May, 2020

通过使用深度 K 近邻算法来改变神经网络的测试时间行为，本文提出了一种更健壮的不确定性度量，以生成特征重要性值，并使用这种解释方法来分析数据集注释人工制品上的模型预测。

Sep, 2018

本文提出 kNN-MT 中耦合机器翻译任务和语料库检索任务的表示方法不够优化，对此使用对比学习进行区分，并提出一种高效的构建负样本的方法。在五个领域的实验结果表明，相比原始的 kNN-MT 方法，我们的方法提高了检索准确性和 BLEU 分数。

Sep, 2022

本文提出了一种混合粒度的中文 BERT 模型（MigBERT），通过同时考虑字符和词，设计了学习字符和单词级表示的目标函数，在各种中文 NLP 任务上获得了新的 SOTA 性能，实验结果表明，单词语义比字符更丰富，而 MigBERT 也适用于日语。

Mar, 2023