ACLMar, 2022

使用 LOVE 填充词汇外嵌入，低成本提高语言模型鲁棒性

PDF
TL;DR使用模仿模型原理生成向量以解决自然语言处理系统中 Out-of-Vocabulary（OOV）单词脆弱性的问题，并提出了一种名为 LOVE 的简单的对比学习框架，可使现有预训练语言模型（如 BERT）的单词表示对 OOV 更为强健，并且在原始数据集和损坏的变体上显示出与之前竞争对手类似或更好的性能。
nlpword embeddingsoovcontrastive learninglanguage model
发现论文，激发创造
  • 针对未登录词的少样本表示学习

    本文提出了一种基于少样本回归的新型分层注意力神经网络结构来解决训练集中不存在的词导致词向量精度下降的问题，实验表明该方法在学习 OOV 词嵌入方面具有优越性。

    Jul, 2019

  • 使用子词 RNN 模拟单词嵌入

    本文介绍 MIMICK，它是一种通过学习从拼写到分布式嵌入的函数来组成生成超出词汇表词汇的嵌入的方法，并提高了词性标注等任务的性能。

    Jul, 2017

  • 基于轨迹的元学习：用于未知词嵌入学习

    该论文提出了一种利用 Leap 元学习算法来学习 OOV 嵌入的方法，与 MAML 相比，Leap 可以更好地解决梯度方面的问题，并在评估中取得了与 MAML 相当或更好的性能，作者也探究了哪些上下文对学习 OOV 嵌入更有利，并提出了上下文选择可能比使用的元学习更重要。

    Feb, 2021

  • 设备上个性化学习用语

    本文提出了一种个性化的 OOV 扩展技术，借助于 Federated Learning，在减小对内存和延迟的影响的同时，有效地将知识从中心模型转移，学习为个性化词汇的单词嵌入。结果表明，与标准的 FL 个性化方法相比，OOV 扩展明显优于常见的 FL 基准测试。

    May, 2023

  • 聚焦于 OOV：如何变化它们？

    我们的研究聚焦于词形屈折在词汇外条件下的问题，通过开发三个系统并测试在词汇外数据集上的性能，我们发现逆行模型在现实情境下的词汇外数据上胜过了所有神经模型，并且由我们的 seq2seq 模型在 SIGMORPHON 2022 共享任务数据的大数据条件下达到了最先进的结果。

    Apr, 2024

  • 序列标注中新词的任务特定表示学习

    本研究提出了一种基于表面形式和上下文预测不能识别的单词的表示方法，解决了基于神经网络的序列标记系统中的词汇外问题（OOV problem），实验结果显示该方法在对比现有最先进的方法时表现更好。

    May, 2019

  • 针对槽位填充的词汇外问题的再探：一种综合对比框架，配有多级数据增强

    本文介绍了一种基于多层数据扩增的 OOV 坚韧性槽填充模型，通过从词和槽的角度解决 OOV 问题。实验表明，该模型比现有模型和之前的最佳模型在 OOV 词和槽方面表现更出色。

    Feb, 2023

  • 强调未见过的单词：端到端语音识别的新词汇习得

    本篇论文提出了一种利用文本到语音系统生成 OOV 单词并通过损失调整和正则化实现语音识别系统的持续学习，并且相比于之前的方法，该方法可以实现更高的召回率和更高的准确性。

    Feb, 2023

  • 使用词汇扩展提高预训练多语言模型的性能

    本文研究了两种方法（联合映射和混合映射）来解决预先训练的 BERT 多语言模型中的词汇表大小和词汇缺失问题，并在多个任务中进行了实验。结果表明，使用混合映射更有前途。这是首次在多语言环境下试图解决词汇缺失问题。

    Sep, 2019

  • 联邦学习中的未登录词学习

    本文介绍了使用基于字符级别的循环神经网络的联邦学习方法，以扩展智能手机虚拟键盘的词汇量，并且在不透露敏感文本的情况下学习未知单词（Out-of-Vocabulary Words）。研究表明该方法可行，并且在使用联合后验概率直接抽样的情况下，该模型对常用的未知单词有良好的识别以及较低的交叉熵损失。

    Mar, 2019