Jan, 2024

TeLeS: 用于估计端到端自动语音识别的时间词汇相似度得分的方法

PDF
TL;DR使用 Temporal-Lexeme Similarity 方法训练 Ancillary Confidence Estimation Model 并应用于 End-to-End Automatic Speech Recognition，取得了显著降低 Word Error Rate 的效果。
发现论文，激发创造
  • 基于非自回归端到端语音识别系统的准确可靠置信度估计

    这篇论文提出了 CIF-Aligned 的置信度估计模型（CA-CEM），并使用 Paraformer 实现了精确可靠的置信度估计，最终在 AUC、RMSE、ECE-U 等多个指标上获得显著改进。

    May, 2023

  • 基于 BLSTM 的端到端语音识别置信度估计

    本研究利用双向长短时记忆（BLSTM）模型进行自动语音识别（ASR）中的可信度估计，通过利用多种 ASR 解码得分作为辅助特征，该模型在高度不平衡的情况下稳定展现出高可信度估计表现，并且大幅优于基于 Transformer 的可信度估计模型。

    Dec, 2023

  • 基于注意力机制的序列到序列模型语音识别置信度估计

    本文探讨如何使用语音识别器的置信度得分来评估转录质量，提出了一种名为信心估计模块（CEM）的轻量化且有效的方法来解决端到端模型的过度置信问题，并发现 CEM 能潜在地改善半监督学习等下游任务。

    Oct, 2020

  • 模态可信度感知的鲁棒端到端口语理解训练

    提出了一种增强对 ASR 错误鲁棒性的新型端到端（E2E）口语理解（SLU）系统，通过基于 ASR 假设的估计模态置信度融合音频和文本表示，来解决 E2E SLU 系统在文本表示质量低时的问题，并通过在 STOP 数据集上的准确性改进和分析来证明我们的方法的有效性。

    Jul, 2023

  • SeMaScore：一种用于自动语音识别任务的新评估指标

    本研究提出了 SeMaScore，它使用基于片段的映射和评分算法生成，并作为自动语音识别任务的评估指标。SeMaScore 利用错误率和更稳健的相似性得分，实验证明我们算法的评分生成优于现有的 BERTscore。我们的实验结果显示 SeMaScore 与专家人工评估、信噪比水平和其他自然语言指标相符。我们在计算速度上比 BERTscore 提高了 41 倍。总体而言，我们证明 SeMaScore 在涉及非典型语音模式的真实世界情况下是一种更可靠的评估指标。

    Jan, 2024

  • 语义相似度预测优于其他语义相似度度量

    使用经过微调的模型准确预测语义相似度，以测量自然语言文本之间的语义相似度，与传统的基于子序列重叠或嵌入的方法相比，效果更好。

    Sep, 2023

  • SemScore：基于语义文本相似度的指导调整 LLMs 的自动评估

    提出一种称为 SemScore 的直接将模型输出与目标响应进行语义文本相似度比较的简单但非常有效的评估度量，对于评估调整教学语言模型在人工评估方面具有优势。

    Jan, 2024

  • 上下文序列似然性：增强自然语言生成的置信分数

    通过为各种标记分配不同的权重，使用从基础语言模型中产生的注意力值来增强预测的序列概率，我们提出了上下文化的序列可能性（CSL）这一新的评分方法。在几个问答数据集和各种语言模型中，CSL 在预测生成质量方面显示出明显更高的可靠性。

    Jun, 2024

  • CEScore：用于评估分割和改写的简单高效置信度估计模型

    自动评估长句分割和重述任务的 CEScore 模型提供了用于评估简单性、语法性、意义保持性和整体质量的四个指标（Sscore、Gscore、Mscore 和 CEscore）并与人类评估强相关，表明 CEScore 作为评估 SR 模型整体质量的简单有效指标的潜力。

    Dec, 2023

  • 神经语义分析的置信度建模

    本研究致力于神经语义分析器的置信度建模，设计了各种度量标准来估计置信分数和确定哪些输入因素会导致不确定的预测，结论表明我们的模型显著优于传统方法并且提高了模型解释的质量。

    May, 2018