针对未登录词的少样本表示学习

Jul, 2019

Few-Shot Representation Learning for Out-Of-Vocabulary Words

Ziniu Hu, Ting Chen, Kai-Wei Chang, Yizhou Sun

TL;DR本文提出了一种基于少样本回归的新型分层注意力神经网络结构来解决训练集中不存在的词导致词向量精度下降的问题，实验表明该方法在学习 OOV 词嵌入方面具有优越性。

Abstract

Existing approaches for learning word embeddings often assume there are sufficient occurrences for each word in the corpus, such that the representation of words can be accurately estimated from their contexts. However, in real-world scenarios, out-of-vocabulary (a.k.a. OOV) words that

word embeddings out-of-vocabulary words few-shot regression hierarchical attention-based architecture model-agnostic meta-learning

发现论文，激发创造

序列标注中新词的任务特定表示学习

本研究提出了一种基于表面形式和上下文预测不能识别的单词的表示方法，解决了基于神经网络的序列标记系统中的词汇外问题（OOV problem），实验结果显示该方法在对比现有最先进的方法时表现更好。

May, 2019

基于轨迹的元学习：用于未知词嵌入学习

该论文提出了一种利用 Leap 元学习算法来学习 OOV 嵌入的方法，与 MAML 相比，Leap 可以更好地解决梯度方面的问题，并在评估中取得了与 MAML 相当或更好的性能，作者也探究了哪些上下文对学习 OOV 嵌入更有利，并提出了上下文选择可能比使用的元学习更重要。

Feb, 2021

使用 LOVE 填充词汇外嵌入，低成本提高语言模型鲁棒性

使用模仿模型原理生成向量以解决自然语言处理系统中 Out-of-Vocabulary（OOV）单词脆弱性的问题，并提出了一种名为 LOVE 的简单的对比学习框架，可使现有预训练语言模型（如 BERT）的单词表示对 OOV 更为强健，并且在原始数据集和损坏的变体上显示出与之前竞争对手类似或更好的性能。

Mar, 2022

联邦学习中的未登录词学习

本文介绍了使用基于字符级别的循环神经网络的联邦学习方法，以扩展智能手机虚拟键盘的词汇量，并且在不透露敏感文本的情况下学习未知单词（Out-of-Vocabulary Words）。研究表明该方法可行，并且在使用联合后验概率直接抽样的情况下，该模型对常用的未知单词有良好的识别以及较低的交叉熵损失。

Mar, 2019

针对槽位填充的词汇外问题的再探：一种综合对比框架，配有多级数据增强

本文介绍了一种基于多层数据扩增的 OOV 坚韧性槽填充模型，通过从词和槽的角度解决 OOV 问题。实验表明，该模型比现有模型和之前的最佳模型在 OOV 词和槽方面表现更出色。

Feb, 2023

强调未见过的单词：端到端语音识别的新词汇习得

本篇论文提出了一种利用文本到语音系统生成 OOV 单词并通过损失调整和正则化实现语音识别系统的持续学习，并且相比于之前的方法，该方法可以实现更高的召回率和更高的准确性。

Feb, 2023

基于上下文的印度语 ASR 系统中的生词恢复

本文提出了一种基于声学增强的语言模型的后处理方法，通过基于语境和音素知识来匹配和恢复正确的上下文单词，该方法可以在多个类别中恢复平均 50% 的基于上下文的未登录词。

Jun, 2022

使用子词 RNN 模拟单词嵌入

本文介绍 MIMICK，它是一种通过学习从拼写到分布式嵌入的函数来组成生成超出词汇表词汇的嵌入的方法，并提高了词性标注等任务的性能。

Jul, 2017

为 OOV-STR 设计的视觉语言自适应互补解码器

该研究提出了一种名为 VLAMD 的框架，该框架基于深度学习，利用语言先验知识，设计了一种针对 OCR 中存在的 Out-of-vocabulary 问题的解决方案，其中包括注意力 LSTM 解码器，自回归转换器解码器和双向训练方法，该方法在 2022 ECCV TiE Workshop 的 OOV-ST 挑战中表现出良好的性能。

Sep, 2022

低资源情况下数据增强用于处理低频词问题的锡兰 - 英文神经机器翻译

介绍了一种基于词和短语替换的数据增强技术，能够同时考虑到 Out-of-Vocabulary 问题的两种类型，语法和语义约束，从而提高了低资源语言对的机器翻译质量。

May, 2022