Feb, 2023

kNN-Adapter: 黑盒语言模型的高效领域自适应

PDF
TL;DR本文介绍了 $k$NN-Adapter 方法，该方法是基于检索增强语言模型，通过将语言模型的输出和目标域数据存储中的检索结果进行自适应加权插值，有效地适应黑盒大型语言模型到新的领域。实验结果表明，$k$NN-Adapter 方法显著提高了语言模型的困惑度，在训练数据有限的情况下比微调更有效。
language modelsdomain adaptationretrieval-augmented$k$nn-adapterdatastore
发现论文，激发创造
  • 最近邻语言模型的自适应方法

    本论文探讨了如何利用适配器和重排序模块等方法改进半参数最近邻语言模型（$k$NN-LMs）在新领域的适用性，实验证明结合多种方法后平均可以提高 17.1％的困惑度。

    Nov, 2022

  • 神经机器翻译的非参数无监督域自适应

    提出了一种基于自动编码器的 $k$NN-MT 方法，可以利用目标语言的单语句子构建有效的数据库来达到无监督的领域自适应翻译，从而提高翻译的准确性和可靠性。

    Sep, 2021

  • 简单且可扩展的最邻近机器翻译

    本文提出了一种基于句子级检索的最近邻机器翻译框架，用于快速领域自适应，该框架旨在大大提高 kNN-MT 模型的解码和存储效率，并且不会影响翻译性能。实验证明，该框架不仅能够达到与 NMT 模型相同的速度，且能够显著减少存储要求。

    Feb, 2023

  • 机器翻译领域自适应的有效性

    该论文探讨了加速最近邻机器翻译的几种方法，其中介绍了一种简单但有效的缓存策略，避免了之前出现过的类似上下文的再次检索。翻译质量和运行时间表明了这些解决方案的有效性。

    Apr, 2022

  • BBox-Adapter：针对黑盒大型语言模型的轻量级适配

    使用 BBox-Adapter 对黑盒大型语言模型进行轻量级适配，通过实时正数据采样和先前适配的负数据，提高了模型性能，降低了训练和推理成本。

    Feb, 2024

  • 填补上下文表示中的域间差距，用于 k 近邻神经机器翻译

    本研究提出了一种新颖的方法来增强 $k$NN-MT 的数据存储器的检索能力，通过重构原始数据存储器来解决上游和下游域之间存在的显著差距。该方法设计了一个修订者来修订关键表示，使其更适合下游域。修订者使用收集的语义相关键 - 查询对进行训练，并通过两个提出的损失进行优化：一个是关键查询语义距离，确保每个修订后的关键表示与其相应查询有语义相关性 ， 另一个是 L2 - 规范损失，鼓励修订关键表示有效保留上游 NMT 模型所学的知识。在域自适应任务上的大量实验表明，我们的方法可以有效提高 $k$NN-MT 的数据存储器检索和翻译质量。

    May, 2023

  • 最近邻机器翻译是输出投影层上的元优化器

    本文分析了 $k$NN-MT 的理论和实证研究，以及针对多域实验和单词级别的分析，发现在特定情况下，结合 $k$NN-MT 和适配器的方法能够实现与在域测试集上微调相当的翻译性能，并在域外测试集上取得更好的性能，同时，优化上下文表示可以弥补低频特定领域词汇召回方面 $k$NN-MT 与微调的差距。

    May, 2023

  • $m^4Adapter$: 基于元适配器的多语言多领域机器翻译自适应

    本研究提出了一种利用元学习和适配器，将域和语言知识结合起来以适应新的领域和语言对的多语言神经机器翻译模型，在跨语言和领域上取得了更好的性能表现。

    Oct, 2022

  • 预训练语言模型的高效分层领域自适应

    本文提出了一种使用计算有效的适配器方法在多个不同领域适应的方法，其通过冻结预先训练的语言模型并与每个节点相关联的适配器权重组合，实现相关领域之间的参数共享。GPT-2 和 C4 中最多的 100 个网站上的实验结果表明，这种方法可以全面提高领域内性能，并提供了一种推理时间算法来推出新领域的泛化性能，同时只能增加成本。

    Dec, 2021

  • 高效的动态检索 k 近邻机器翻译

    非参数 NMT 领域自适应研究中，提出了基于 k 最近邻机器翻译的动态检索方法，通过线性插值系数 lambda 调整质量分布预测，同时引入基于多层感知机的分类器以及动态生成阈值的方法，从而提高模型的效率和适应性。

    Jun, 2024