重访预训练语言模型的 k-NN
本文提出了一种基于最近邻校准框架的预训练语言模型(PLMs)的上下文学习方法,该方法获得了显著的改进,并在某些情感分析任务中实现了与基于调优的方法相当的性能。
Dec, 2022
引入了 $k$NN-LMs,该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中,我们实现了一个新的最先进的困惑度为 15.79,这是一个 2.9 点的提高而无需额外的训练。此外,作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用,并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。
Nov, 2019
本文探究检索增强语言模型及 k - 最近邻语言模型相较于传统参数化语言模型进行下一个单词预测时为何表现更佳的原因,并发现使用不同输入表示、近似最近邻搜索、以及 kNN 分布的 softmax 温度是关键因素,进而将这些启示融入传统语言模型的模型架构和训练方法来提升其表现。
Jan, 2023
本文利用分类法阐述了如何将外部知识融入预训练语言模型(PLMs)中解决其因缺乏外部知识而导致的推理能力不足问题,以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。
Nov, 2022
本文探讨了如何提高非参数神经语言模型的效率,实验表明我们的方法能够在保持性能相当的情况下提高 6 倍的推理速度,为以后开发或部署更有效的非参数神经语言模型提供指南。
Sep, 2021
本文介绍了利用监督动量对比学习框架和 KNN 分类器结合 fine-tuning 的方法,以学习聚类表示来提高预训练模型的 Robustness 和 Stability,测试结果表明此方法可显著提高文本分类任务中的准确度和对抗性鲁棒性。
Oct, 2021
本论文探讨了如何利用适配器和重排序模块等方法改进半参数最近邻语言模型($k$NN-LMs)在新领域的适用性,实验证明结合多种方法后平均可以提高 17.1%的困惑度。
Nov, 2022
本文论述了预训练语言模型(PLM)的重要性以及知识增强型预训练语言模型(KE-PLMs)的研究现状,探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。
Oct, 2021
研究了 k-nearest neighbor LM 以及 kNN-Prompt 模型在少数样本和零样本任务准确度上的性能,发现其对于扩展任务特定的模糊单词十分有效,且具有在领域适应中快速提高准确度的优势。
May, 2022
研究探究了在微调阶段引入 kNN 预测的统计数据来提高基线翻译模型,发现通过引入 gating 机制,kNN 的真实概率和强化学习三种方法,相比于传统的微调,可以在四个标准机器翻译数据集上实现一致的改进,尤其于翻译语法关系或功能词时表现出更大的提升。
May, 2023