ACLFeb, 2024

解决西班牙语中的转录模糊问题：基于混合声学 - 词汇系统的标点恢复

PDF
TL;DR本研究提出了一种新颖的混合声学和词汇标点复原系统，用于西班牙语转录，通过模块化过程整合声学和词汇信号，实验结果表明该系统能够有效提高西班牙语问号和整体标点恢复的 F1 分数，并在公开和内部西班牙语对话数据集上与大型语言模型 (LLMs) 进行了基准比较，表明我们的方法在准确性、可靠性和延迟性方面具有优势。此外，我们还证明了自动语音识别 (ASR) 模块的词错误率 (WER) 也受益于我们提出的系统。
发现论文，激发创造
  • 使用迁移学习恢复西班牙语客户支持记录的标点符号

    本文提出了一种自动标点恢复系统，采用两种基于迁移学习的策略来解决西班牙文转录数据的稀疏性，同时使用英语转录数据来提高标点恢复系统的准确性，适用于实时客户支持转录服务。

    May, 2022

  • 利用外部数据提高语音抄本的标点恢复能力

    本文研究了针对嘈杂文本（如电话对话场景）的标点恢复问题，提出了一种基于 n-gram 语言模型的数据采样技术来采样更多类似于我们的领域数据的训练数据，并提出了一种基于 BERT 模型的两阶段微调方法，大量实验表明该方法的 F1 得分提高了 1.12％，优于基线模型。

    Oct, 2021

  • 自发对话中的标点预测：我们能否使用修正后的单词嵌入减缓 ASR 错误？

    本研究提出了一种使用领域特定数据的词嵌入法来改善 ASR 系统引入的同音词误差对标点预测的影响，并在标点预测任务中实验证明其可降低同音词误差带来的影响，相较最先进模型，在句号等标点预测准确率上提升达 9%。

    Apr, 2020

  • 新加坡口语标点修复：英语、马来语和华语

    该论文介绍了一种针对 ASR 转写文本中缺失标点的修复方法，使用基于填槽（slot-filling）的方法进行标点预测，取得了在英语、华语、马来语 IWSLT2022 数据集上最好的效果。

    Dec, 2022

  • 混合语言语料统一多模态标点修复框架

    本文介绍了一种名为 UniPunc 的多模态标点恢复框架，使用混合样本并基于共享潜在空间学习混合表示来标点。该模型在真实世界数据集中的表现优于各种强基线模型（例如 BERT，MuSe）至少 0.8 个整体 F1 得分，成为新的最先进技术。

    Jan, 2022

  • 基于 Transformer 的长篇口述流式标点

    本文提出了一种使用动态解码窗口的流式标点或重新标点的自动语音识别输出方法，并测量了其对标点和分段准确性的影响。新系统解决了过度分段的问题，提高了分段 F0.5 得分 13.9%。流式标点平均提高了 0.66 的 BLEU 分数，适用于机器翻译领域。

    Oct, 2022

  • 面向对话语音标点预测的多模态半监督学习框架

    本研究探索一种多模态半监督学习方法，通过学习大量无标签的音频和文本数据来预测标点符号。实验结果表明，使用注意力机制的多模态融合相对于使用强制对齐的多模态融合可以使基线模型分别在参考转录和自动语音识别输出上达到约 6-9％和 3-4％的绝对改进（F1 分数），数据增广也可以使模型对 ASR 错误更加鲁棒。

    Aug, 2020

  • 使用 Transformer 和 Chunk Merging 实现自动语音识别的快速准确的大写和标点符号

    本文提出了一种基于变形金刚模型和块合并的长语音自动语音识别标点和大写字母恢复方法，实验证明该方法在正确性和解码速度两方面均优于现有方法，并使用英国国家语料库可行。

    Aug, 2019

  • 通过数据生成和强化学习提升标点恢复

    这篇研究论文提出了一种强化学习方法，利用主题相关的书面文本和最新的大规模预训练生成式语言模型，来填补自动语音识别中书面文本和语音识别文本之间的差距，并在标点恢复的两个基准数据集上取得了最先进的性能。

    Jul, 2023

  • 端到端语音标点文本识别

    本研究提出了一种基于端到端模型的自动语音识别系统，利用声学信息和多任务学习技术来实现对文本标点符号的准确预测，相较之于传统级联式的标点预测系统，准确率更高，同时也大大减少了参数数。

    Jul, 2022