IJCAIMay, 2019

序列标注中新词的任务特定表示学习

PDF
TL;DR本研究提出了一种基于表面形式和上下文预测不能识别的单词的表示方法，解决了基于神经网络的序列标记系统中的词汇外问题（OOV problem），实验结果显示该方法在对比现有最先进的方法时表现更好。
word representationneural networkoov problemsequence labelingpredictive model
发现论文，激发创造
  • 针对未登录词的少样本表示学习

    本文提出了一种基于少样本回归的新型分层注意力神经网络结构来解决训练集中不存在的词导致词向量精度下降的问题，实验表明该方法在学习 OOV 词嵌入方面具有优越性。

    Jul, 2019

  • 强调未见过的单词：端到端语音识别的新词汇习得

    本篇论文提出了一种利用文本到语音系统生成 OOV 单词并通过损失调整和正则化实现语音识别系统的持续学习，并且相比于之前的方法，该方法可以实现更高的召回率和更高的准确性。

    Feb, 2023

  • 针对槽位填充的词汇外问题的再探：一种综合对比框架，配有多级数据增强

    本文介绍了一种基于多层数据扩增的 OOV 坚韧性槽填充模型，通过从词和槽的角度解决 OOV 问题。实验表明，该模型比现有模型和之前的最佳模型在 OOV 词和槽方面表现更出色。

    Feb, 2023

  • 联邦学习中的未登录词学习

    本文介绍了使用基于字符级别的循环神经网络的联邦学习方法，以扩展智能手机虚拟键盘的词汇量，并且在不透露敏感文本的情况下学习未知单词（Out-of-Vocabulary Words）。研究表明该方法可行，并且在使用联合后验概率直接抽样的情况下，该模型对常用的未知单词有良好的识别以及较低的交叉熵损失。

    Mar, 2019

  • 学习新词的语义表示：利用形式和语境

    本研究提出了一种基于表面形式和上下文信息两种方式的词嵌入方法，取得了在 Definitional Nonce 和 Contextual Rare Words 数据集上的最好效果，可以帮助处理 NLP 中的生词。

    Nov, 2018

  • 设备上个性化学习用语

    本文提出了一种个性化的 OOV 扩展技术，借助于 Federated Learning，在减小对内存和延迟的影响的同时，有效地将知识从中心模型转移，学习为个性化词汇的单词嵌入。结果表明，与标准的 FL 个性化方法相比，OOV 扩展明显优于常见的 FL 基准测试。

    May, 2023

  • 使用 LOVE 填充词汇外嵌入，低成本提高语言模型鲁棒性

    使用模仿模型原理生成向量以解决自然语言处理系统中 Out-of-Vocabulary（OOV）单词脆弱性的问题，并提出了一种名为 LOVE 的简单的对比学习框架，可使现有预训练语言模型（如 BERT）的单词表示对 OOV 更为强健，并且在原始数据集和损坏的变体上显示出与之前竞争对手类似或更好的性能。

    Mar, 2022

  • 词切分对上下文化词表示的语义内容的影响

    从语言模型中获取上下文化的单词表示时，需要决定如何获得那些被分割成子单词的未登录词（OOV）的表示。本文通过在涉及 OOV 词的语义相似性任务中对不同模型的嵌入进行内部评估，揭示了包括有趣发现在内的结论，即被分割的词的表示质量通常较差，但并非总是如此。然而，必须谨慎解释它们的相似性值。

    Feb, 2024

  • 基于上下文的印度语 ASR 系统中的生词恢复

    本文提出了一种基于声学增强的语言模型的后处理方法，通过基于语境和音素知识来匹配和恢复正确的上下文单词，该方法可以在多个类别中恢复平均 50% 的基于上下文的未登录词。

    Jun, 2022

  • 能否混合？

    本文中，我们通过对一个新数据集的实验来量化解释混合词的含义的难度，结果表明，BERT 对这些混合词的处理不能充分访问其组成部分的含义，导致其上下文表示语义贫乏，而具有上下文感知能力的嵌入式系统在识别混合词的结构和恢复其来源方面表现优异，但其结果仍然远非令人满意。

    Sep, 2020