Sep, 2023

在分解神经传输器中融入基于类别的语言模型的命名实体识别

PDF
TL;DR为了提高端到端模型中的实体识别能力，本研究将基于类别的语言模型应用于因式分解的神经递归式转录器（FNT）中，取得显著的实体识别误差降低。
end-to-end modelsnamed entity recognitioncontextual biasing algorithmsclass-based language modelfactorized neural transducer
发现论文，激发创造
  • 基于分解神经传输器的外部语言模型集成

    本文提出一种基于外部语言模型的分解神经传输器（FNT）适应方法，通过浅层融合和基于类别的 n-gram 语言模型的集成，取得了最高 60% WERR 的新增收益。

    May, 2023

  • 用于端到端语音识别模型的文本适应的快速准确因式分解神经转录器

    介绍了因文本数据处理能力有限而提出的 FNT 模型及其在语音识别领域中的存在意义，并提出了多种方法来优化模型性能，使用这些方法后，相比于标准 FNT 模型，模型的错误率下降了 9.48%。

    Dec, 2022

  • 文本领域适应的改进因式化神经转导模型

    通过设立独立语料库解码器预测词汇，改进因式神经变换器（IFNT）模型结构综合整合声学和语言信息，实现有效的文本适应，并在实验中展现了相对于标准神经变换器与浅层融合模型的 7.9% 至 28.5% 的相对词误率改善和相对于 FNT 模型的 1.6% 至 8.2% 的词误率降低。

    Sep, 2023

  • 面向端到端语音识别的神经 FST 类语言模型

    提出了一种新方法 -- 神经 - FST 级语言模型（NFCLM），它将神经网络语言模型（NNLM）和有限状态转换器（FST）结合起来用于端到端语音识别，这种方法通过背景 NNLM 模拟通用背景文本和称为 FST 的一系列特定领域实体 。

    Jan, 2022

  • 基于因式分解神经传输器的长篇语音识别

    提出一种名为 LongFNT 的架构，通过融合句子级别和标记级别的长时序特征和预训练的 RoBERTa 上下文编码器，扩展了长段音频输入的自动语音识别模型，显著降低了字错率。

    Nov, 2022

  • 开放领域自适应循环神经网络转录技术

    这篇论文提出对 RNN-T 模型进行修改，以利用附带的元数据文本，从而改善对于命名实体词汇的识别，并在社交媒体视频数据集上取得了 16% 左右的提升。

    Jun, 2020

  • 通过生成多个语言因素的神经机器翻译

    论文提出基于神经网络模型输出端单词的形态和语法分解（因子）的分步神经机器翻译（FNMT），解决了机器翻译中目标语言词汇量和未知词汇数产生的问题。在 IWSLT'15 英法任务中，FNMT 模型表现优异，达到了与基于单词和基于 BPE 的神经机器翻译系统在 BLEU 和 METEOR 等质量评估指标上相当的效果。

    Dec, 2017

  • 命名实体识别的神经网络结构

    本文介绍基于双向 LSTM 和条件随机场，以及基于转移的方法的两种新的神经网络模型，这些模型不依赖于领域特定的知识和语言。通过使用监督语料库和未标注语料库，字符表示和无监督的学习表示，这些模型在四种语言中实现了名词实体识别的最先进性能。

    Mar, 2016

  • 提升口语理解中集合预测的端到端模型

    本文介绍了利用两类 E2E 模型（RNN 转录器和基于注意力的编码器 - 解码器）进行口语语言理解系统的语义实体预测的研究，以及提出的一种数据增强技术和一种隐式注意力对齐方法来推断口语顺序，从而提高 E2E SLU 模型的性能。相较于以前报导的结果，F1 分数显著提高了超过 11％（对于 RNN-T）和约 2％（对于基于注意力的编码器 - 解码器）。

    Jan, 2022

  • 直接言語翻譯中的命名實體檢測與注入

    本文探讨了如何利用在特定环境下出现的命名实体词典来提高语音转文本模型的准确性， 实验证明使用 NE 词典可以有效提高命名实体的准确性，降低人名错误率达 31%。

    Oct, 2022