Jun, 2023

词汇发音者错误更正：利用语言模型进行发音者离话错误更正

PDF
TL;DR本篇论文探讨了使用语言模型的 Speaker diarization second-pass error correction approach 引入词汇信息，可以有效且稳健地提高多个电话数据集上的单词级别 Diarization 错误率（WDER）降低 15％至 30％。
speaker diarizationautomatic speech recognitionlanguage modelserror correctiontelephony datasets
发现论文，激发创造
  • AG-LSEC: 音频语境词汇发音错误修正

    通过使用现有的 SD 管道中直接从说话者得分中获取的信息，将 LSEC 系统与口音得分加强和基于口音的 LSEC 系统相结合，相对于基于音频的 SD、ASR 系统，在 RT03-CTS、美国英语 Callhome 和 Fisher 数据集上取得了 25-40% 的相对 WDER 降低，相对于 LSEC 系统，取得了 15-25% 的相对改善。

    Jun, 2024

  • 基于 LLM 的说话人分离修正：通用方法

    使用大型语言模型进行后处理的讲话者辨析能够显著提高辨别的准确性，并研发了能够适用于不同自动语音识别工具的综合模型。

    Jun, 2024

  • DiarizationLM：大型语言模型的说话人分离后处理

    介绍了 DiarizationLM 框架，利用大型语言模型对说话人辨别系统的输出进行后处理，可用于提高辨别的可读性或降低词辨别错误率。实验证明，通过使用经过微调的 PaLM 2-S 模型，可以在 Fisher 电话对话数据集上降低 WDER 约 25.9％，在 Callhome English 数据集上降低约 31％。

    Jan, 2024

  • DiaCorrect: 说话人分离的纠错后端

    我们提出了一种名为 DiaCorrect 的错误修正框架，以简单而有效的方式改进音讯识别系统的输出。该方法受自动语音识别中的错误修正技术的启发。我们的模型包括两个并行的卷积编码器和一个基于转换的解码器。通过利用输入录音和初始系统输出之间的相互作用，DiaCorrect 可以自动校正初始说话者活动以最小化识别错误。在 2 个人的电话数据上的实验表明，所提出的 DiaCorrect 可以有效地改善初始模型的结果。我们的源代码公开可用于此 https URL。

    Sep, 2023

  • 探索口语理解中有关说话人信息以改进说话人分离

    本文介绍了一种从多方会议的语义内容中提取与讲话者相关信息进而改进说话人分离方法的方法，提出了两个子任务（对话检测和发言者切换检测）来有效地从对话语义中提取讲话者信息，并提出了一种简单而有效的算法来联合建模声学和语义信息并获得标识讲话者的文本。实验结果表明，我们的方法在 AISHELL-4 和 AliMeeting 数据集上相对于仅声学的说话人分离系统都有显著的改进。

    May, 2023

  • 去噪语言模型：将错误修正模型推向语音识别极限

    使用大量合成数据进行训练的缩放误差校正模型 (Denoising LM) 在自动语音识别 (ASR) 系统中实现了最先进的性能表现，通过合成语音进入 ASR 系统并与原始文本配对训练，DLM 取得了 1.5% 的单词错误率 (WER) 以及在 Librispeech 上新的 ASR 性能记录，并展示了取代传统语言模型的潜力。

    May, 2024

  • 隐式口语分片

    本研究探讨了利用深度学习的端到端 x - 向量方法进行语音流言分离的性能表现，并发现预训练的 wave2vec 嵌入可以提供近 30% 的错误率改进。

    Jun, 2023

  • 一种统一的模型？走向端到端的联合说话人分离与语音识别

    这篇论文提出了一个名为 SLIDAR（滑动窗口判别增强识别）的新颖框架，用于联合演讲者判别和自动语音识别，能够处理任意长度的输入和任意数量的说话人，通过滑动窗口方法实时给出窗口内的转录、判别和说话人嵌入，并通过聚类说话人嵌入获得全局演讲者身份，实验证实了该方法在近距离和远场语音场景中的有效性。

    Oct, 2023

  • 提高口语理解的 ASR 错误管理

    介绍了一种基于神经网络的自然语言处理方法，用于识别语音识别中的错误和改进语音理解系统的性能。实验结果表明，该方案可以显著降低概念 / 值错误率，并且结合基于条件随机场的 SLU 方法和神经编码器 / 解码器注意力机制，可以识别出置信度区间和不确定性的语义输出片段，进而决定适当的错误处理措施。

    May, 2017

  • 音频对齐：使用高效多序列对齐评估和可视化基于文本的日识别（扩展版）

    本文提出了一种新颖的评估方法，用于基于文本的发言人分离，克服了传统度量标准在文本中不考虑任何上下文信息的局限性。我们提出了两个新的度量标准，即基于文本的分离错误率和分离 F1 值，通过对参考和假设转录中的标记进行对齐，进行话语和单词级别的评估。我们的度量标准涵盖了更多类型的错误，相比现有的度量标准，可以进行更全面的发言人分离分析。为了对齐标记，引入了一种多序列对齐算法，支持参考序列中的多个序列，同时使用动态规划处理假设中的高维对齐。我们的工作打包为两个工具，align4d 提供用于对齐算法的 API，TranscribeView 用于可视化和评估发言人分离错误，这可以极大地帮助创建高质量的数据，促进对话系统的发展。

    Sep, 2023