本文介绍了使用基于字符级别的循环神经网络的联邦学习方法，以扩展智能手机虚拟键盘的词汇量，并且在不透露敏感文本的情况下学习未知单词（Out-of-Vocabulary Words）。研究表明该方法可行，并且在使用联合后验概率直接抽样的情况下，该模型对常用的未知单词有良好的识别以及较低的交叉熵损失。

Mar, 2019

本篇论文提出了一种利用文本到语音系统生成 OOV 单词并通过损失调整和正则化实现语音识别系统的持续学习，并且相比于之前的方法，该方法可以实现更高的召回率和更高的准确性。

Feb, 2023

本文介绍了一种基于多层数据扩增的 OOV 坚韧性槽填充模型，通过从词和槽的角度解决 OOV 问题。实验表明，该模型比现有模型和之前的最佳模型在 OOV 词和槽方面表现更出色。

Feb, 2023

本文研究了两种方法（联合映射和混合映射）来解决预先训练的 BERT 多语言模型中的词汇表大小和词汇缺失问题，并在多个任务中进行了实验。结果表明，使用混合映射更有前途。这是首次在多语言环境下试图解决词汇缺失问题。

Sep, 2019

使用模仿模型原理生成向量以解决自然语言处理系统中 Out-of-Vocabulary（OOV）单词脆弱性的问题，并提出了一种名为 LOVE 的简单的对比学习框架，可使现有预训练语言模型（如 BERT）的单词表示对 OOV 更为强健，并且在原始数据集和损坏的变体上显示出与之前竞争对手类似或更好的性能。

Mar, 2022

本文论述了插值个性化语言模型的新策略和处理未登录词的方法，以提高个性化语言模型，并通过 Reddit 的公开数据演示了通过将全局基于 LSTM 的撰写模型与用户个性化 n-gram 模型插值，通过优化基于分布式的 OOV 惩罚和插值系数的后退方法，我们观察到超过 80％的用户的恶化在困惑度上得到了提升，平均每个用户困惑度提升 5.2％。通过该研究，我们扩展了以前建立 NLIs 的工作，并提高了用于下游任务的指标的鲁棒性。

Jun, 2020

针对联邦学习中的开放词汇挑战，本研究提出一种名为联邦多模态原型 (Fed-MP) 的适应性聚合框架以及一种基于轻量级客户端残差的多模态原型机制，从而在联邦学习背景下，利用预训练的视觉 - 语言模型进行知识学习，并使该模型适应未曾见过的类别。经过对多种数据集的实证评估，验证了 Fed-MP 的有效性。

Apr, 2024

通过引入联邦学习（FL）在辱骂语言识别中的上下文中，我们提出了一种保护用户隐私的去中心化架构，用于辨别网上的辱骂语言。在四个公开可用的英语基准数据集（AHSD、HASOC、HateXplain、OLID）上，我们对多个深度学习模型进行了训练，并进行了详细的性能评估。同时，我们也展示了初步的英语和西班牙语跨语言实验。我们证明了所提出的模型融合方法在所有数据集上优于基准方法，并且能够保护隐私。

Apr, 2024

本研究提出了一种基于表面形式和上下文预测不能识别的单词的表示方法，解决了基于神经网络的序列标记系统中的词汇外问题（OOV problem），实验结果显示该方法在对比现有最先进的方法时表现更好。

May, 2019

使用具有缓存机制的分层 LSTM 语言模型在多种语言维基百科文章上进行开放词汇量语言建模，通过字符级别的生成实现不同语言之间的数据共享，进而可以有效解决固定词汇量模型中常见的新词问题。

Apr, 2017