Aug, 2023

一种适用于中文医学标点恢复的小型且快速的 BERT 模型

PDF
TL;DR基于 “预训练和微调” 范式的快速轻量级中文医学标点还原模型，通过引入监督对比学习和新颖的辅助预训练任务（标点符号预测），蒸馏预训练模型以适应标点还原需求，实验表明，该模型在相对于最先进的中文 RoBERTa 模型的 10% 模型尺寸下能够达到 95% 的性能。
clinical dictationautomatic speech recognitionexplicit punctuation markschinese medical punctuation restorationpretrained model
发现论文，激发创造
  • 新加坡口语标点修复：英语、马来语和华语

    该论文介绍了一种针对 ASR 转写文本中缺失标点的修复方法，使用基于填槽（slot-filling）的方法进行标点预测，取得了在英语、华语、马来语 IWSLT2022 数据集上最好的效果。

    Dec, 2022

  • 医学 ASR 标点及大小写预测的稳健性

    本论文提出了一种基于预训练掩码语言模型，如 BERT、BioBERT 和 RoBERTa 的条件联合建模框架，用于预测标点符号和大小写，并介绍了域和任务特定自适应技术和数据增强方法，可提高医学领域 ASR 系统输出的识别准确率。实验结果表明，所提出的模型在字典和会话样式语料库上，相对于基线模型，F1 度量下实现了～5% 的绝对改进和～10% 的 ASR 输出优化。

    Jul, 2020

  • 利用外部数据提高语音抄本的标点恢复能力

    本文研究了针对嘈杂文本（如电话对话场景）的标点恢复问题，提出了一种基于 n-gram 语言模型的数据采样技术来采样更多类似于我们的领域数据的训练数据，并提出了一种基于 BERT 模型的两阶段微调方法，大量实验表明该方法的 F1 得分提高了 1.12％，优于基线模型。

    Oct, 2021

  • BERT 模型自动标点恢复

    本研究利用 BERT 模型自动还原英语和匈牙利语的标点符号，并通过 Ted Talks 和 Szeged Treebank 数据集的实验验证，得出在英语和匈牙利语上分别达到了 79.8 和 82.2 的宏平均 $F_1$- 分数。

    Jan, 2021

  • 通过数据生成和强化学习提升标点恢复

    这篇研究论文提出了一种强化学习方法，利用主题相关的书面文本和最新的大规模预训练生成式语言模型，来填补自动语音识别中书面文本和语音识别文本之间的差距，并在标点恢复的两个基准数据集上取得了最先进的性能。

    Jul, 2023

  • 使用迁移学习恢复西班牙语客户支持记录的标点符号

    本文提出了一种自动标点恢复系统，采用两种基于迁移学习的策略来解决西班牙文转录数据的稀疏性，同时使用英语转录数据来提高标点恢复系统的准确性，适用于实时客户支持转录服务。

    May, 2022

  • 通过精细调整 KB-BERT 对瑞典文中的标点恢复

    使用一种基于 KB-BERT 模型的方法，对无标点的瑞典语文本进行自动纠正成正确的标点文本进行了研究，提出的预训练模型 prestoBERT 在标点纠正上取得了较好的成绩。

    Feb, 2022

  • 使用 Transformer 和 Chunk Merging 实现自动语音识别的快速准确的大写和标点符号

    本文提出了一种基于变形金刚模型和块合并的长语音自动语音识别标点和大写字母恢复方法，实验证明该方法在正确性和解码速度两方面均优于现有方法，并使用英国国家语料库可行。

    Aug, 2019

  • 自发对话中的标点预测：我们能否使用修正后的单词嵌入减缓 ASR 错误？

    本研究提出了一种使用领域特定数据的词嵌入法来改善 ASR 系统引入的同音词误差对标点预测的影响，并在标点预测任务中实验证明其可降低同音词误差带来的影响，相较最先进模型，在句号等标点预测准确率上提升达 9%。

    Apr, 2020

  • 标点复原的对抗迁移学习

    本研究旨在解决文本标点还原中词向量只包含从左到右上下文信息和外部词性标注器的不足。为此，引入敌对式迁移学习和多任务联合学习，将预训练双向编码器表示模型用于初始化标点模型，利用多个任务的学习提高模型效果，在 IWSLT2011 数据集上进行实验，结果表明本文提出的模型相较于以往基于词法特征的模型，在测试集上的 F1-score 表现提高了 9.2%。

    Apr, 2020