- ACL词切分对上下文化词表示的语义内容的影响
从语言模型中获取上下文化的单词表示时，需要决定如何获得那些被分割成子单词的未登录词（OOV）的表示。本文通过在涉及 OOV 词的语义相似性任务中对不同模型的嵌入进行内部评估，揭示了包括有趣发现在内的结论，即被分割的词的表示质量通常较差，但并 - 一个更好的掩码语言模型评分方法
该论文提出了一种适用于遮蔽语言模型的评估方法，该方法通过遮蔽目标词汇和目标词汇右侧的所有词汇来计算伪对数似然分数，并表明该方法优于原始的伪对数似然方法和一种遮蔽单词内词汇的伪对数似然方法，并且选择适当的评分指标对于评估一个语言模型的性能很重 - 强调未见过的单词：端到端语音识别的新词汇习得
本篇论文提出了一种利用文本到语音系统生成 OOV 单词并通过损失调整和正则化实现语音识别系统的持续学习，并且相比于之前的方法，该方法可以实现更高的召回率和更高的准确性。
- 基于上下文的印度语 ASR 系统中的生词恢复
本文提出了一种基于声学增强的语言模型的后处理方法，通过基于语境和音素知识来匹配和恢复正确的上下文单词，该方法可以在多个类别中恢复平均 50% 的基于上下文的未登录词。
- XSTEM: 一个基于实例的词干提取算法
本研究介绍一种快速，简单，可配置，高精度和高召回率的词干提取算法，其采用基于单词的查找表的简单性和性能与规则方法的强大普适性相结合，避免了词汇表外单词的问题。
- ACL基于轨迹的元学习：用于未知词嵌入学习
该论文提出了一种利用 Leap 元学习算法来学习 OOV 嵌入的方法，与 MAML 相比，Leap 可以更好地解决梯度方面的问题，并在评估中取得了与 MAML 相当或更好的性能，作者也探究了哪些上下文对学习 OOV 嵌入更有利，并提出了上下 - 使用合成音频改善端到端 ASR 系统中新词的识别
利用 TTS 引擎为训练数据中不常见的词提供合成音频，并使用正则化技术在编码器上应用弹性权重整合，从而提高 RNN-T 对 OOV 词的识别准确率并保持对非 OOV 词的性能，相对 WER 可减少 57％。
- 针对未登录词的少样本表示学习
本文提出了一种基于少样本回归的新型分层注意力神经网络结构来解决训练集中不存在的词导致词向量精度下降的问题，实验表明该方法在学习 OOV 词嵌入方面具有优越性。
- ACL中文表征深度学习是否需要分词？
探讨了是否需要将中文文本分词为词语的问题，并对基于分词和不基于分词的神经网络模型在四个自然语言处理任务上进行了比较。研究发现，不基于分词的字符级模型在数据稀疏性和词汇量不足等复杂情况下更加鲁棒。
- 基于声音定位的词嵌入用于提高声学到词语语音识别
通过将最终的 AWE 识别器的 pre-softmax 权重矩阵视为词嵌入向量矩阵，并利用外部训练的词嵌入向量来改善其质量，我们提出了两种思路：（1）在训练中在外部嵌入向量与识别器权重之间强制相似性，（2）在测试时使用词嵌入向量预测生僻词以 - 联邦学习中的未登录词学习
本文介绍了使用基于字符级别的循环神经网络的联邦学习方法，以扩展智能手机虚拟键盘的词汇量，并且在不透露敏感文本的情况下学习未知单词（Out-of-Vocabulary Words）。研究表明该方法可行，并且在使用联合后验概率直接抽样的情况下， - 基于检索式聊天机器人的多轮响应选择的交互匹配网络
本文提出了一种针对多轮回复选择任务的交互匹配网络，通过三个方面的词表示构建、具有注意力机制的分层循环编码器，以及全局多轮上下文和回复之间的双向交互计算，实现了在四个公共数据集上的最佳表现。
- 神经机器翻译中更好的子词划分
本文提出将字节对编码（Byte Pair Encoding）引入到通用无监督框架中以解决翻译任务中由于罕见或未知单词对翻译效果的限制，经实验验证在德英和中英翻译任务中，使用 accessor variety 和 description le - IJCAI神经注意力和指针网络的代码完成
使用神经语言模型并开发定制化的注意力机制以加快现代软件开发中的智能代码补全，同时提出了一个指针混合网络以更好地预测过程中的无法识别词汇。
- EMNLP使用子词 RNN 模拟单词嵌入
本文介绍 MIMICK，它是一种通过学习从拼写到分布式嵌入的函数来组成生成超出词汇表词汇的嵌入的方法，并提高了词性标注等任务的性能。
- 基于循环神经网络的逐字递增语音识别
本文提出了一种基于 RNN 的字符级增量语音识别系统，使用 CTC 进行端到端训练，在短时间内响应语音输入，通过基于树的在线 Beam Search 算法实现字级别的识别，该系统不仅能够响应不断输入的语音，还能根据发音来发音对语音的字词进行 - ACL神经机器翻译中的生僻词问题解决方案
本文介绍一种利用词对齐算法的数据增强方法来解决神经机器翻译中 out-of-vocabulary 词的翻译问题，并结合字典翻译在 WMT14 英 - 法翻译任务上实现比不使用该方法更高的 BLEU 分数。