EMNLPMay, 2020

BERT-kNN：为预训练语言模型添加 kNN 搜索组件以提升 QA

PDF
TL;DR使用 k 近邻（kNN）组件提高语言模型性能，进而结合 BERT 与传统信息检索（IR）和大型文本嵌入数据存储的 kNN 搜索提高开放域问答的召回率。实验结果证明，BERT-kNN 在题型填空问答方面比 BERT 表现更优，尤其在处理罕见事实和未在 BERT 训练集中涉及的事实方面表现突出。
发现论文，激发创造
  • 知识图谱融合用于语言模型微调

    探索将知识图谱注入 Bert 模型的微调阶段来提高语言理解，并通过实验证明注入相关高质量知识对于特定任务有显著的性能提升。

    Jun, 2022

  • 记忆化泛化：最近邻语言模型

    引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练。此外，作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用，并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。

    Nov, 2019

  • KNN-BERT：使用 KNN 分类器微调预训练模型

    本文介绍了利用监督动量对比学习框架和 KNN 分类器结合 fine-tuning 的方法，以学习聚类表示来提高预训练模型的 Robustness 和 Stability，测试结果表明此方法可显著提高文本分类任务中的准确度和对抗性鲁棒性。

    Oct, 2021

  • 语言模型作为知识库吗？

    通过对预训练语言模型的深入分析，我们发现未经微调的 BERT 模型竞争传统 NLP 方法的关系知识，可以根据开放式关系进行查询，某些类型的事实知识比标准语言模型预训练方法更容易学习，并可以作为无监督的开放式 QA 系统的潜力展现。

    Sep, 2019

  • 最近邻语言模型为什么有效？

    本文探究检索增强语言模型及 k - 最近邻语言模型相较于传统参数化语言模型进行下一个单词预测时为何表现更佳的原因，并发现使用不同输入表示、近似最近邻搜索、以及 kNN 分布的 softmax 温度是关键因素，进而将这些启示融入传统语言模型的模型架构和训练方法来提升其表现。

    Jan, 2023

  • 利用 k 近邻表示解释和改善模型行为

    使用 kNN 表示法来解释 NLP 模型的预测结果，发现其除了具有解释性外，还能揭示学习到的虚假关联，发现存在错误标记的例子，并提高模型的性能和抵御对抗攻击的能力。

    Oct, 2020

  • 论检索增强和语言模型训练的局限性

    这项研究探讨了将 kNN 检索应用于 GPT-2 117M 等传统语言模型中，以提高性能，证实了通过这种方法可以降低困惑度，并解释了这一现象的潜在原因。

    Nov, 2023

  • 利用大型语言模型中的偏差：针对高效少样本学习的 “偏差 - kNN

    通过引入一种名为 “bias-kNN” 的新方法，利用有偏差的输出作为 kNN 的主要特征并补充金标签，从而提高大语言模型中的模型性能。

    Jan, 2024

  • K-BERT：利用知识图谱实现语言表示

    提出了一种基于知识图谱的语言表示模型（K-BERT），可以将领域特定的知识注入到模型中，以用于解决需要专家知识的领域特定问题，实验证明其在 12 个 NLP 任务中有很好的表现。

    Sep, 2019

  • 重访预训练语言模型的 k-NN

    本文介绍了如何将 k - 最近邻分类器与预训练语言模型相结合以提高自然语言处理的效率，具体方法是采用 k - 最近邻分类器对预训练语言模型进行文本表示，通过校准训练过程来掌握具体实例的困难度，并将校准结果与预训练语言模型的分类器相结合。

    Apr, 2023