基于置信度的端到端语音识别模型集成

Jun, 2023

基于置信度的端到端语音识别模型集成

Confidence-based Ensembles of End-to-End Speech Recognition Models

Igor Gitman, Vitaly Lavrukhin, Aleksandr Laptev, Boris Ginsburg

TL;DR本文探索基于置信度的集成模型方法，证明 5 种单语音模型组合胜于使用专用语言识别块的模型选择，同时结合基础模型和适应模型，可在数据原始状态和目标状态下获得强大结果。

Abstract

The number of end-to-end speech recognition models grows every year. These models are often adapted to new domains or languages resulting in a proliferation of expert systems that achieve great results on target data, while generally showing inferior performance outside of their domain

end-to-end speech recognition confidence-based ensembles monolingual models language identification block model architectures

发现论文，激发创造

基于流式端到端模型的大规模多语言语音识别

本文介绍了一种使用条件向量和针对语言的适配器层结合的多语言端到端模型，取得了比单语言模型和传统模型都更低的语音识别误差率。

Sep, 2019

深度学习图像分类中基于置信度集成的评估

使用了 Conf-Ensemble 技术来提高机器学习模型的性能，通过对 ImageNet 数据集的图像分类实验，发现 Conf-Ensemble 在复杂的多标签分类任务中并未能如预期一样实现优化结果，也说明了大数据难以被利用的非平凡性。

Mar, 2023

基于非自回归端到端语音识别系统的准确可靠置信度估计

这篇论文提出了 CIF-Aligned 的置信度估计模型（CA-CEM），并使用 Paraformer 实现了精确可靠的置信度估计，最终在 AUC、RMSE、ECE-U 等多个指标上获得显著改进。

May, 2023

模态可信度感知的鲁棒端到端口语理解训练

提出了一种增强对 ASR 错误鲁棒性的新型端到端（E2E）口语理解（SLU）系统，通过基于 ASR 假设的估计模态置信度融合音频和文本表示，来解决 E2E SLU 系统在文本表示质量低时的问题，并通过在 STOP 数据集上的准确性改进和分析来证明我们的方法的有效性。

Jul, 2023

基于 BLSTM 的端到端语音识别置信度估计

本研究利用双向长短时记忆（BLSTM）模型进行自动语音识别（ASR）中的可信度估计，通过利用多种 ASR 解码得分作为辅助特征，该模型在高度不平衡的情况下稳定展现出高可信度估计表现，并且大幅优于基于 Transformer 的可信度估计模型。

Dec, 2023

提升基于 CTC 的语音识别的多样建模单元

近年来，由于转换器等深度学习架构的进展，端到端（E2E）自动语音识别（ASR）模型的演变令人瞩目。在 E2E 系统的基础上，研究人员通过使用音素模型对 E2E 模型的 N 个最佳假设进行重新评分，实现了相当大的准确性提升。我们研究了驱动这些改进的潜在机制，并提出了一种高效的联合训练方法，其中 E2E 模型与多样的建模单元联合训练。这种方法不仅使音素和字素模型的优势得到了衔接，还揭示出以这些多样的建模单元协同方式使用可以显著提高模型的准确性。我们的发现为在开发更可靠准确的 ASR 系统时，异构建模单元的最佳整合提供了新的见解。

Jun, 2024

基于注意力机制的序列到序列模型语音识别置信度估计

本文探讨如何使用语音识别器的置信度得分来评估转录质量，提出了一种名为信心估计模块（CEM）的轻量化且有效的方法来解决端到端模型的过度置信问题，并发现 CEM 能潜在地改善半监督学习等下游任务。

Oct, 2020

终端到终端音频识别的声学模型融合

最近在深度学习和自动语音识别（ASR）方面的进展使得端到端（E2E）ASR 系统成为可能，并且将准确性提升到一个新的水平。我们提出将外部的 AM 整合到 E2E 系统中，以更好地解决领域不匹配问题，并取得了显著的词错误率降低，尤其在增强命名实体识别方面效果明显。

Oct, 2023

端到端语音识别综述

该研究论文介绍了端到端自动语音识别模型的分类和改进，讨论了它们对传统隐马尔科夫模型的影响，涵盖了模型、训练、解码和外部语言模型集成等各个方面，同时讨论了性能和部署机会以及未来的发展前景。

Mar, 2023

使用预训练语言模型集成的简答评分

本研究探讨了利用 Kaggle 自动化短问题评分数据集，通过微调一系列的小型、基础型、大型预训练 Transformer 语言模型，并训练一个特征模型来测试这些模型的集成的有效性。观察到较大的模型通常表现稍好，但它们仍无法自己达到最优结果，只有通过大量网络集成才能产生最优结果，但这些集成过于庞大，无法应用于实际生产环境。

Feb, 2022