Oct, 2022

TRScore：一种基于 GPT 的 ASR 分割和标点模型评估和选择的新型可读性评分器

PDF
TL;DR使用 GPT 模型评估分割和标点系统的新的可读性评估方法：TRScore，可定量评估诸如大写、倒置文本归一化（ITN）和发散性等文本后处理技术对整体可读性的影响，可消除人类转录对模型选择的需求，并且与人类可读性得分和常规 F1 得分存在很强的相关性。
发现论文，激发创造
  • 基于 Transformer 的长篇口述流式标点

    本文提出了一种使用动态解码窗口的流式标点或重新标点的自动语音识别输出方法，并测量了其对标点和分段准确性的影响。新系统解决了过度分段的问题，提高了分段 F0.5 得分 13.9%。流式标点平均提高了 0.66 的 BLEU 分数，适用于机器翻译领域。

    Oct, 2022

  • GPTScore：任意评估

    本文提出了一种新的评估框架 GPTScore，利用生成预训练模型的崭新能力对生成的文本进行评分，实验结果表明该方法能够高效地实现对文本的定制化、多方面评估，不需要注解样本。

    Feb, 2023

  • 利用外部数据提高语音抄本的标点恢复能力

    本文研究了针对嘈杂文本（如电话对话场景）的标点恢复问题，提出了一种基于 n-gram 语言模型的数据采样技术来采样更多类似于我们的领域数据的训练数据，并提出了一种基于 BERT 模型的两阶段微调方法，大量实验表明该方法的 F1 得分提高了 1.12％，优于基线模型。

    Oct, 2021

  • 带标点的端到端流式自动语音识别模型的改进训练

    本文提出了一种基于 Transformer 编码器和 CTC loss 的方法，实现对输入语音的标点文本进行预测，并通过对文本分块和话语的 CTC 损失组合，提高了标点预测的准确性和单词错误率。

    Jun, 2023

  • 基于双向上下文的连续语音识别新标点技术

    本文提出一种基于流式处理的自动标点系统，使用动态解码窗口对 ASR 识别结果进行标点或重新标点，并检测其对标点和分割准确性的影响。实验结果表明，该方法能够有效解决过分割问题，提高 13.9% 的分割 F0.5 评分，并使机器翻译任务的 BLEU 分数平均提高 0.66。

    Jan, 2023

  • 四合一：联合逆文本规范化、标点、大写和表达不流畅对于自动语音识别的方法

    本文提出一种统一的自动语音转换为书写形式文本的方法，使用了一个两阶段的过程实现了逆文本规范化、标点符号、大写和不流畅的统一标注，然后使用权重有限状态转换器语法来格式化标注的 ITN 实体跨度。该方法在自然语言处理中的成果优于专门的模型。

    Oct, 2022

  • 使用 Transformer 和 Chunk Merging 实现自动语音识别的快速准确的大写和标点符号

    本文提出了一种基于变形金刚模型和块合并的长语音自动语音识别标点和大写字母恢复方法，实验证明该方法在正确性和解码速度两方面均优于现有方法，并使用英国国家语料库可行。

    Aug, 2019

  • 大型语言模型是代码生成领域最先进的评估器

    本研究提出了一个基于 GPT-3.5 的评估框架，用于评估代码生成的功能正确性和人类偏好，能够在不需要测试 oracle 或参考文献的情况下，达到比 CodeBERTScore 更高的准确性和一致性。

    Apr, 2023

  • 利用预训练语言模型生成人类可读的自动语音识别转录

    本文提出了一个自动语音识别后处理模型，旨在将不正确和嘈杂的 ASR 输出转换为可读的文本，并使用元数据提取语料库构建了一种任务特定的数据集，并使用两阶段训练策略来微调 RoBERTa 预训练模型。在测试集上，我们的模型在可读性感知 WER（RA-WER）上比基线模型提高了 13.26％，在 BLEU 度量上提高了 17.53％。人类评估还证明我们的方法可以生成比基线更易读的转录本。

    Feb, 2021

  • LibriSpeech-PC: 评估端到端自动语音识别模型标点和大小写能力的基准测试

    传统自动语音识别模型将输出转换为小写无标点符号的单词，从而降低了可读性，需要进一步的文本处理模型来将语音识别转录成正确的格式。本文介绍了一个名为 LibriSpeech-PC 的基准测试，用于评估端到端自动语音识别模型在标点和大小写预测方面的能力，同时提出了一种名为 PER 的新型评估指标，专注于标点符号，并提供了初步的基准模型。所有代码、数据和模型均可公开获取。

    Oct, 2023