Jan, 2024

SeMaScore：一种用于自动语音识别任务的新评估指标

PDF
TL;DR本研究提出了 SeMaScore，它使用基于片段的映射和评分算法生成，并作为自动语音识别任务的评估指标。SeMaScore 利用错误率和更稳健的相似性得分，实验证明我们算法的评分生成优于现有的 BERTscore。我们的实验结果显示 SeMaScore 与专家人工评估、信噪比水平和其他自然语言指标相符。我们在计算速度上比 BERTscore 提高了 41 倍。总体而言，我们证明 SeMaScore 在涉及非典型语音模式的真实世界情况下是一种更可靠的评估指标。
发现论文，激发创造
  • SemScore：基于语义文本相似度的指导调整 LLMs 的自动评估

    提出一种称为 SemScore 的直接将模型输出与目标响应进行语义文本相似度比较的简单但非常有效的评估度量，对于评估调整教学语言模型在人工评估方面具有优势。

    Jan, 2024

  • 混合 SD（H_SD）：自动语音识别任务的新混合评估指标

    本文提出了一种新的自动语音识别系统的综合评估指标 Hybrid-SD，该指标既考虑语义正确性又考虑错误率，通过使用微调技术构建快速轻量级的 SNanoBERT 模型生成句子相似度分数，并证明 H_SD 与下游任务（如意图识别和命名实体识别）的相关性更强。

    Nov, 2022

  • TeLeS: 用于估计端到端自动语音识别的时间词汇相似度得分的方法

    使用 Temporal-Lexeme Similarity 方法训练 Ancillary Confidence Estimation Model 并应用于 End-to-End Automatic Speech Recognition，取得了显著降低 Word Error Rate 的效果。

    Jan, 2024

  • 利用语义距离度量评估用户对语音识别系统质量的感知

    本研究提出使用使用预训练语言模型提取参考和假设的语义向量之间的距离来衡量 ASR 输出假设的语义正确性，实验结果表明，SemDist 比 WER 更能与用户感知相一致，并且比 WER 更能与下游的自然语言理解任务相一致。

    Oct, 2021

  • 度量度量工具：文本语料库语义度量自动评估

    通过提出一系列的评估度量，本文对语义相似度度量的特征进行自动和可解释的评估，从而实现了对不同语义相似度度量方法行为的合理比较。通过对经典方法和最新方法的评估，我们的度量揭示了最近开发的度量在识别语义分布不匹配方面变得更好，而经典度量则对表面文本水平的扰动更加敏感。

    Nov, 2022

  • 使用 BERT 评估文本生成

    BERTScore 是一种针对文本生成的自动评估指标，利用上下文嵌入计算 token 的相似性，能够更好地与人类判断相关，并提供比现有度量更强的模型选择性能。

    Apr, 2019

  • 不是所有的错误都是相等的：使用分层错误合成学习文本生成度量

    本文提出利用迭代的错误合成与强度评分的新颖流程构建高度相关于人类判断的基于模型的指标 SESCORE，该指标无需人工注释，在多个不同的自然语言生成任务中优于所有现有的无监督指标，并且即使没有获得任何人工标注训练数据，SESCORE 也实现了与最佳监督指标 COMET 相当的性能。

    Oct, 2022

  • SubER：字幕质量自动评估指标

    本文介绍了解决自动生成字幕质量评估问题的 SubER 度量方法，可综合考虑文本质量、分段及时间轴匹配，经人工评估表明此方法与后编辑准确性和人工评定分数高度相关，优于现有方法。

    May, 2022

  • SememeASR: 利用义元语义知识提升端到端语音识别在领域和长尾数据转移上的性能

    在语音识别领域，通过引入基于义原的语义知识信息（SememeASR），从知识驱动的角度改进了纯数据驱动方法的问题解决，提高了语音识别的有效性，并增强了模型对长尾数据的识别和领域泛化能力。

    Sep, 2023

  • 利用基于语义相似度的图结构进行高效数据选择的模型训练

    该研究论文介绍了一种有效的数据抽样机制，通过基于文本信息而不经过计算密集型模型或其他密集预处理转换，将新数据点分类为语音识别难度桶。结果表明，使用该方法比随机预测提高了 93% 的 ASR 性能精确度，并对文本表示在语音模型中的影响提供了重要信息。此外，一系列的实验证明了使用 ASR 信息对模型进行细调的益处和挑战。与随机抽样相比，报告了 7% 的验证损失下降，针对高难度数据集的非局部聚合的 WER 降低了 7%，并且在数据集之间具有高语义相似性的局部聚合下，WER 降低了 1.8%。

    Feb, 2024