May, 2023

KNN-LM 不会改善开放式文本生成

PDF
TL;DR研究插值检索增强语言模型的生成质量，插值检索增强的语言模型通过使用给定前缀的最相关检索进行插值来预测下一个词的分布，发现这种方法对于母猪鼻子的下一个词比较准确，但对于开放式的文本生成质量并没有相应的改善，同时发现对于模型生成的文本作为查询时，检索分布的熵增加较快，不够可靠。希望推动未来在检索增强语言模型的解码算法和插值策略方面的改进。
retrieval-augmented language modelsinterpolationperplexitygeneration qualitydecoding algorithms
发现论文，激发创造
  • 邻居非自选：关于 $k$NN-LM 中如何选择何时依赖检索

    研究了基于检索增强的语言模型中 $k$NN-LM 中检索文本的词汇和语义匹配对于性能的影响，并通过使用检索结果质量确定插值系数的新表述，成功地提高了英文语言建模数据集 Wikitext-103 和 PG-19 中的困惑度近 4%。

    Oct, 2022

  • 论检索增强和语言模型训练的局限性

    这项研究探讨了将 kNN 检索应用于 GPT-2 117M 等传统语言模型中，以提高性能，证实了通过这种方法可以降低困惑度，并解释了这一现象的潜在原因。

    Nov, 2023

  • kNN-Prompt: 最近邻零样本推理

    研究了 k-nearest neighbor LM 以及 kNN-Prompt 模型在少数样本和零样本任务准确度上的性能，发现其对于扩展任务特定的模糊单词十分有效，且具有在领域适应中快速提高准确度的优势。

    May, 2022

  • 最近邻语言模型为什么有效？

    本文探究检索增强语言模型及 k - 最近邻语言模型相较于传统参数化语言模型进行下一个单词预测时为何表现更佳的原因，并发现使用不同输入表示、近似最近邻搜索、以及 kNN 分布的 softmax 温度是关键因素，进而将这些启示融入传统语言模型的模型架构和训练方法来提升其表现。

    Jan, 2023

  • 记忆化泛化：最近邻语言模型

    引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练。此外，作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用，并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。

    Nov, 2019

  • 高效的最近邻语言模型

    本文探讨了如何提高非参数神经语言模型的效率，实验表明我们的方法能够在保持性能相当的情况下提高 6 倍的推理速度，为以后开发或部署更有效的非参数神经语言模型提供指南。

    Sep, 2021

  • 最近邻假设解码用于 LLM 生成和归因

    利用最近邻推断的半参数化语言模型， NEAREST 引入了最近邻预测解码，可以高效提高生成质量和属性率。

    May, 2024

  • 个性化语言建模插值策略的检验和扩展

    本文论述了插值个性化语言模型的新策略和处理未登录词的方法，以提高个性化语言模型，并通过 Reddit 的公开数据演示了通过将全局基于 LSTM 的撰写模型与用户个性化 n-gram 模型插值，通过优化基于分布式的 OOV 惩罚和插值系数的后退方法，我们观察到超过 80％的用户的恶化在困惑度上得到了提升，平均每个用户困惑度提升 5.2％。通过该研究，我们扩展了以前建立 NLIs 的工作，并提高了用于下游任务的指标的鲁棒性。

    Jun, 2020

  • 检索式语言模型的隐私影响

    本文研究检测基于 k 最近邻的检索型语言模型对隐私的风险，探索隐私安全的最佳设计和培训程序以在效用和隐私之间取得平衡，并提供了隐私风险缓解策略。

    May, 2023

  • 语言建模的一点进展

    在语言建模领域中，我们探寻了多种技术的变体或极限，验证单一技术与多种技术的相互作用，将所有技术组合应用在一起，较标准的 Katz 平滑 3 元语言建模方法，我们取得了 38% 至 50% 的困惑度减少，Word 错误率降低 8.9%。

    Aug, 2001