Feb, 2023

针对槽位填充的词汇外问题的再探：一种综合对比框架，配有多级数据增强

PDF
TL;DR本文介绍了一种基于多层数据扩增的 OOV 坚韧性槽填充模型，通过从词和槽的角度解决 OOV 问题。实验表明，该模型比现有模型和之前的最佳模型在 OOV 词和槽方面表现更出色。
slot fillingout-of-vocabularymulti-level data augmentationscontrastive learning frameworkoov words
发现论文，激发创造
  • 低资源情况下数据增强用于处理低频词问题的锡兰 - 英文神经机器翻译

    介绍了一种基于词和短语替换的数据增强技术，能够同时考虑到 Out-of-Vocabulary 问题的两种类型，语法和语义约束，从而提高了低资源语言对的机器翻译质量。

    May, 2022

  • 强调未见过的单词：端到端语音识别的新词汇习得

    本篇论文提出了一种利用文本到语音系统生成 OOV 单词并通过损失调整和正则化实现语音识别系统的持续学习，并且相比于之前的方法，该方法可以实现更高的召回率和更高的准确性。

    Feb, 2023

  • 联邦学习中的未登录词学习

    本文介绍了使用基于字符级别的循环神经网络的联邦学习方法，以扩展智能手机虚拟键盘的词汇量，并且在不透露敏感文本的情况下学习未知单词（Out-of-Vocabulary Words）。研究表明该方法可行，并且在使用联合后验概率直接抽样的情况下，该模型对常用的未知单词有良好的识别以及较低的交叉熵损失。

    Mar, 2019

  • 设备上个性化学习用语

    本文提出了一种个性化的 OOV 扩展技术，借助于 Federated Learning，在减小对内存和延迟的影响的同时，有效地将知识从中心模型转移，学习为个性化词汇的单词嵌入。结果表明，与标准的 FL 个性化方法相比，OOV 扩展明显优于常见的 FL 基准测试。

    May, 2023

  • 基于上下文的印度语 ASR 系统中的生词恢复

    本文提出了一种基于声学增强的语言模型的后处理方法，通过基于语境和音素知识来匹配和恢复正确的上下文单词，该方法可以在多个类别中恢复平均 50% 的基于上下文的未登录词。

    Jun, 2022

  • 针对未登录词的少样本表示学习

    本文提出了一种基于少样本回归的新型分层注意力神经网络结构来解决训练集中不存在的词导致词向量精度下降的问题，实验表明该方法在学习 OOV 词嵌入方面具有优越性。

    Jul, 2019

  • 序列标注中新词的任务特定表示学习

    本研究提出了一种基于表面形式和上下文预测不能识别的单词的表示方法，解决了基于神经网络的序列标记系统中的词汇外问题（OOV problem），实验结果显示该方法在对比现有最先进的方法时表现更好。

    May, 2019

  • 领域特定的僧伽罗语 - 英语 - 泰米尔语统计机器翻译的数据增强和术语整合

    本文主要研究针对机器翻译中低资源语种的词汇缺失问题，提出了基于双语词表整合的方法和基于数据增强技术的方法，通过以词干和格标注扩充双语词表词汇以提高 SMT 的准确性，在 Sinhala-English 机器翻译任务中取得了改善。

    Nov, 2020

  • 使用词汇扩展提高预训练多语言模型的性能

    本文研究了两种方法（联合映射和混合映射）来解决预先训练的 BERT 多语言模型中的词汇表大小和词汇缺失问题，并在多个任务中进行了实验。结果表明，使用混合映射更有前途。这是首次在多语言环境下试图解决词汇缺失问题。

    Sep, 2019

  • 为 OOV-STR 设计的视觉语言自适应互补解码器

    该研究提出了一种名为 VLAMD 的框架，该框架基于深度学习，利用语言先验知识，设计了一种针对 OCR 中存在的 Out-of-vocabulary 问题的解决方案，其中包括注意力 LSTM 解码器，自回归转换器解码器和双向训练方法，该方法在 2022 ECCV TiE Workshop 的 OOV-ST 挑战中表现出良好的性能。

    Sep, 2022