Oct, 2021

KNN-BERT：使用 KNN 分类器微调预训练模型

PDF
TL;DR本文介绍了利用监督动量对比学习框架和 KNN 分类器结合 fine-tuning 的方法，以学习聚类表示来提高预训练模型的 Robustness 和 Stability，测试结果表明此方法可显著提高文本分类任务中的准确度和对抗性鲁棒性。
pre-trained modelsk-nearest neighbors classifiermomentum contrastive learningtext classificationadversarial robustness
发现论文，激发创造
  • 重访预训练语言模型的 k-NN

    本文介绍了如何将 k - 最近邻分类器与预训练语言模型相结合以提高自然语言处理的效率，具体方法是采用 k - 最近邻分类器对预训练语言模型进行文本表示，通过校准训练过程来掌握具体实例的困难度，并将校准结果与预训练语言模型的分类器相结合。

    Apr, 2023

  • 非参数最近邻辅助微调神经机器翻译

    研究探究了在微调阶段引入 kNN 预测的统计数据来提高基线翻译模型，发现通过引入 gating 机制，kNN 的真实概率和强化学习三种方法，相比于传统的微调，可以在四个标准机器翻译数据集上实现一致的改进，尤其于翻译语法关系或功能词时表现出更大的提升。

    May, 2023

  • 利用 k 近邻表示解释和改善模型行为

    使用 kNN 表示法来解释 NLP 模型的预测结果，发现其除了具有解释性外，还能揭示学习到的虚假关联，发现存在错误标记的例子，并提高模型的性能和抵御对抗攻击的能力。

    Oct, 2020

  • BERT-kNN：为预训练语言模型添加 kNN 搜索组件以提升 QA

    使用 k 近邻（kNN）组件提高语言模型性能，进而结合 BERT 与传统信息检索（IR）和大型文本嵌入数据存储的 kNN 搜索提高开放域问答的召回率。实验结果证明，BERT-kNN 在题型填空问答方面比 BERT 表现更优，尤其在处理罕见事实和未在 BERT 训练集中涉及的事实方面表现突出。

    May, 2020

  • 利用大型语言模型中的偏差：针对高效少样本学习的 “偏差 - kNN

    通过引入一种名为 “bias-kNN” 的新方法，利用有偏差的输出作为 kNN 的主要特征并补充金标签，从而提高大语言模型中的模型性能。

    Jan, 2024

  • 记忆化泛化：最近邻语言模型

    引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练。此外，作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用，并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。

    Nov, 2019

  • 预训练表示的双调谐

    本文提出 Bi-tuning，一种细调深度学习模型的新方法，能同时利用监督和无监督预训练，并综合使用有标签数据的判别信息和无标签数据的数据结构，相较于现有策略，在精度上有了长足的提升。

    Nov, 2020

  • 基于 kNN 和基础模型的可适应且注重隐私的图像分类

    存储底层训练数据的嵌入表示的方法，结合了 $k$- 最近邻分类器和基于视觉的基础模型，在数据隐私保护方面具有动态修改和良好的解释性和适应性，通过实验证明在基准数据集和医学图像分类任务中有更好的分类性能，同时在持续学习和数据删除场景中展现出良好的鲁棒性。

    Feb, 2024

  • 通过最近邻校准提高语言模型的少样本性能

    本文提出了一种基于最近邻校准框架的预训练语言模型（PLMs）的上下文学习方法，该方法获得了显著的改进，并在某些情感分析任务中实现了与基于调优的方法相当的性能。

    Dec, 2022

  • 深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

    本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

    Mar, 2018