Nov, 2023

kNN 语言模型的可控生成的风格局部性

PDF
TL;DR使用外部存储器改进的最近邻语言模型，通过检索相似的语境来辅助词语预测，添加局部级别使模型能够学习如何根据相对于源文件中当前文本的位置来加权邻居，从而进一步提高模型性能。我们提出了一种新的方法，并在礼貌、正式、支持性和毒性文本数据上进行自动和人工评估，发现我们的模型能够成功控制风格，并提供比以往更好的流利度 - 风格权衡。
发现论文，激发创造
  • 最近邻语言模型用于风格可控生成

    本文构建并评估了一种基于外部记忆的语言建模方法，利用政治正确、正式性和毒性等属性进行样式控制，结果显示基于样式专用数据存储器的生成性能得到了提高，但仍需在未来的工作中探索预训练数据和特定样式的效果。

    Oct, 2022

  • 记忆化泛化：最近邻语言模型

    引入了 $k$NN-LMs，该模型将预训练的神经语言模型与 $k$ 最近邻居模型线性插值。使用此方法在一个强大的 Wikitext-103 LM 中，我们实现了一个新的最先进的困惑度为 15.79，这是一个 2.9 点的提高而无需额外的训练。此外，作者还展示了这种方法在有效地扩展到更大的训练数据和实现领域自适应方面的作用，并认为最近邻搜索是在长尾系统的语言建模中一种有效的方法。

    Nov, 2019

  • 邻居非自选：关于 $k$NN-LM 中如何选择何时依赖检索

    研究了基于检索增强的语言模型中 $k$NN-LM 中检索文本的词汇和语义匹配对于性能的影响，并通过使用检索结果质量确定插值系数的新表述，成功地提高了英文语言建模数据集 Wikitext-103 和 PG-19 中的困惑度近 4%。

    Oct, 2022

  • 非参数语言模型中的结构局部性获取

    本文探讨了利用结构局部性在非参数语言模型中的应用，并提出了一种简单而有效的方法来将学习参数加入到这些模型中以提高局部邻域中检索示例的概率，并在 Java 源代码和维基百科文本等不同领域进行了实验，发现结构局部性特征可以改善模型效果。

    Oct, 2021

  • 高效的最近邻语言模型

    本文探讨了如何提高非参数神经语言模型的效率，实验表明我们的方法能够在保持性能相当的情况下提高 6 倍的推理速度，为以后开发或部署更有效的非参数神经语言模型提供指南。

    Sep, 2021

  • 最近邻语言模型为什么有效？

    本文探究检索增强语言模型及 k - 最近邻语言模型相较于传统参数化语言模型进行下一个单词预测时为何表现更佳的原因，并发现使用不同输入表示、近似最近邻搜索、以及 kNN 分布的 softmax 温度是关键因素，进而将这些启示融入传统语言模型的模型架构和训练方法来提升其表现。

    Jan, 2023

  • 最近邻语言模型的自适应方法

    本论文探讨了如何利用适配器和重排序模块等方法改进半参数最近邻语言模型（$k$NN-LMs）在新领域的适用性，实验证明结合多种方法后平均可以提高 17.1％的困惑度。

    Nov, 2022

  • 借助真实样本的渐进邻域逼近解释文本分类器

    针对文本分类器的局部模型无关解释，提出了一种渐进逼近方法，它通过两阶段插值使用反事实来完善待解释决策的领域，从而提高了邻域质量。通过试验，证明了该方法的有效性。

    Feb, 2023

  • 神经语言生成中的语言风格控制

    该研究通过基于条件 RNN 语言模型的方法，控制生成文本的内容和文体风格，并以电影评论领域为例，成功生成了与所需语言风格和内容相一致的连贯句子。

    Jul, 2017

  • 最近邻假设解码用于 LLM 生成和归因

    利用最近邻推断的半参数化语言模型， NEAREST 引入了最近邻预测解码，可以高效提高生成质量和属性率。

    May, 2024