Jul, 2018

面向会话语音的标点符号预测模型

PDF
TL;DR本文通过训练基于深度神经网络技术的双向长短期记忆网络（BLSTM）和卷积神经网络（CNN）的序列标注模型，来解决语音识别系统中无法正常预测标点符号的问题，并且通过在 Fisher 语料库上的实验证明，基于卷积神经网络预测标点符号的方法更加精确。同时，本文结果表明，将 Fisher 语料库转化为时间对齐的文本以及采用预训练嵌入模型可以提高标点预测的准确性。
发现论文，激发创造
  • 端到端语音标点文本识别

    本研究提出了一种基于端到端模型的自动语音识别系统，利用声学信息和多任务学习技术来实现对文本标点符号的准确预测，相较之于传统级联式的标点预测系统，准确率更高，同时也大大减少了参数数。

    Jul, 2022

  • 带标点的端到端流式自动语音识别模型的改进训练

    本文提出了一种基于 Transformer 编码器和 CTC loss 的方法，实现对输入语音的标点文本进行预测，并通过对文本分块和话语的 CTC 损失组合，提高了标点预测的准确性和单词错误率。

    Jun, 2023

  • 面向对话语音标点预测的多模态半监督学习框架

    本研究探索一种多模态半监督学习方法，通过学习大量无标签的音频和文本数据来预测标点符号。实验结果表明，使用注意力机制的多模态融合相对于使用强制对齐的多模态融合可以使基线模型分别在参考转录和自动语音识别输出上达到约 6-9％和 3-4％的绝对改进（F1 分数），数据增广也可以使模型对 ASR 错误更加鲁棒。

    Aug, 2020

  • 自发对话中的标点预测：我们能否使用修正后的单词嵌入减缓 ASR 错误？

    本研究提出了一种使用领域特定数据的词嵌入法来改善 ASR 系统引入的同音词误差对标点预测的影响，并在标点预测任务中实验证明其可降低同音词误差带来的影响，相较最先进模型，在句号等标点预测准确率上提升达 9%。

    Apr, 2020

  • 使用双向递归神经网络联合学习相关的序列标注任务

    本文提出了一种使用双向循环神经网络联合对应多个相关任务的新技术，用于在缺乏标点和格式化的自动语音识别输出中改善标点和大写字母的性能，并可扩展到联合建模任何其他相关序列标记任务。

    Mar, 2017

  • 基于 Transformer 的长篇口述流式标点

    本文提出了一种使用动态解码窗口的流式标点或重新标点的自动语音识别输出方法，并测量了其对标点和分段准确性的影响。新系统解决了过度分段的问题，提高了分段 F0.5 得分 13.9%。流式标点平均提高了 0.66 的 BLEU 分数，适用于机器翻译领域。

    Oct, 2022

  • 基于双向上下文的连续语音识别新标点技术

    本文提出一种基于流式处理的自动标点系统，使用动态解码窗口对 ASR 识别结果进行标点或重新标点，并检测其对标点和分割准确性的影响。实验结果表明，该方法能够有效解决过分割问题，提高 13.9% 的分割 F0.5 评分，并使机器翻译任务的 BLEU 分数平均提高 0.66。

    Jan, 2023

  • 利用外部数据提高语音抄本的标点恢复能力

    本文研究了针对嘈杂文本（如电话对话场景）的标点恢复问题，提出了一种基于 n-gram 语言模型的数据采样技术来采样更多类似于我们的领域数据的训练数据，并提出了一种基于 BERT 模型的两阶段微调方法，大量实验表明该方法的 F1 得分提高了 1.12％，优于基线模型。

    Oct, 2021

  • 医学 ASR 标点及大小写预测的稳健性

    本论文提出了一种基于预训练掩码语言模型，如 BERT、BioBERT 和 RoBERTa 的条件联合建模框架，用于预测标点符号和大小写，并介绍了域和任务特定自适应技术和数据增强方法，可提高医学领域 ASR 系统输出的识别准确率。实验结果表明，所提出的模型在字典和会话样式语料库上，相对于基线模型，F1 度量下实现了～5% 的绝对改进和～10% 的 ASR 输出优化。

    Jul, 2020

  • 使用 Transformers 进行荷兰语标点和分段预测

    本文介绍了一个基于 Dutch language model RobBERT 的 sequence classification model ，用于在比利时荷兰语的自动语音识别输出中进行标点符号插入和分割。

    Jan, 2023