Jun, 2023

基于半监督语言模型微调和对比学习的自动语音识别无参考质量度量

PDF
TL;DR本文介绍了一种名为 NoRefER 的新型无参考质量评估指标，其采用对比学习和连体网络结构，自我监督地精调跨语言语言模型以进行自动语音识别假设的点对排序以评估质量。半监督版本还使用参考数据集来改善对潜在错误样本的选择。实验结果表明，NoRefER 与基于参考的指标高度相关，具有不错的无参考 ASR 评估或 A / B 测试潜力。
noreferreferenceless quality metricautomatic speech recognitioncontrastive learningsiamese network
发现论文，激发创造
  • 基于多语言自监督对比学习的自动语音识别无参考质量度量

    本文提出了一种多语言无参考质量度量方法，使用预先训练的语言模型采用对比学习的自我监督学习方式进行微调，针对自动语音识别模型提出了一个评估标准，该评估标准可以在没有参考标记的情况下比较不同自动语音识别模型的性能，并在减少识别错误和提高性能方面效果显著。

    Jun, 2023

  • 基于注意机制的无参考度量进行语音识别质量评估，实现高效语料采样和后期编辑

    在自动语音识别（ASR）领域，本文介绍和评估了质量估计（QE）指标作为提高 ASR 系统中可解释人工智能（XAI）的一种新工具。通过实验和分析，探索了 NoRefER（无参考错误率）指标在识别单词级别错误方面的能力，以帮助后期编辑 ASR 假设的改进。研究还扩展到了 NoRefER 在构建数据集过程中的实用性，展示了它在增加具有深入注释的数据集方面的有效性。对 NoRefER 的诊断方面进行了检查，揭示了它提供有关模型行为和决策模式的有价值的见解的能力。这对于优先处理后期编辑工作流程和微调 ASR 模型非常有益。研究结果表明 NoRefER 不仅仅是一个错误检测工具，还是提高 ASR 系统透明性、效率和效果的全面框架。为了保证结果的可复现性，本研究的所有源代码都公开可用。

    Jan, 2024

  • 通过对比学习无监督无参考摘要质量评估

    本研究提出了一种基于 BERT 的新度量方法，通过无监督对比学习，评估文档摘要的质量，并且证明了该方法可以在没有参考摘要的情况下胜过其他指标。

    Oct, 2020

  • 机器翻译无参考同行评估评估

    通过使用大型多语言模型的概率作为参考度量标准，本文尝试了各种修改以推进无参考评估，并且分析了一些潜在的弱点，结果表明这种方法是出乎意料的稳健，可能在广泛领域和系统质量方面提供合理的性能。

    Apr, 2021

  • 基于参考的度量方法在问题生成中的自否定

    该研究在使用 BLEU 和 BERTScore 等基于参考文献的指标评估问题生成（QG）时发现，使用人工编写的参考文献不能保证参考文献指标的有效性。作者提出了一种基于自由参考文献的多维度标准的度量方法，通过利用大型语言模型来评估问题的自然性、可回答性和复杂性，该度量方法不受单个参考问题的句法或语义限制，也不需要多样化的参考文献集合。实验证明，该度量方法能够准确区分高质量问题和有缺陷的问题，并与人类判断达到最先进的一致性。

    Mar, 2024

  • 学习用于在线对话评估的无参考度量

    本文提出了一种基于预训练语言模型从句子中提取潜在表示并利用它们之间的时间关系进行对话质量评估的自动评估度量标准，不需要人工生成参考回复并在推理过程中不需要真实响应。在在线环境中，该模型与人类评注的相关性更高。

    May, 2020

  • CORN：共训练的完全参考和非参考音频指标

    这篇论文介绍了一个称为 CORN 的新框架，通过同时训练全参考和无参考模型，并独立应用这些模型，提高了音频处理任务中的感知评估的性能。

    Oct, 2023

  • MT-Ranker: 无参考系统间排序的机器翻译评估

    机器翻译评估已被传统上视为回归问题，但这种方法存在两个限制：缺乏可解释性且人工评注者难以给出一致的分数；在真实的场景中，大多数评分方法基于（参考翻译）对，限制了它们的适用性。本研究提出一种新的评估方法，将无参考机器翻译评估转化为配对排序问题，并通过使用自然语言推理的间接监督和合成数据的弱监督来展示其与人类判断的卓越相关性。MT-Ranker 在无人工注释的情况下，在 DARR20、MQM20、MQM21 等 WMT Shared Metrics Task 基准测试上取得了最先进的结果，在包含细粒度评估标准的更有挑战的基准测试 ACES 上，MT-Ranker 在无参考和参考基准线上表现出最先进的水平。

    Jan, 2024

  • 句子级流畅度评估：参考文献有帮助，但可以节省！

    本文提出了基于正态化的语言模型得分的句子级无参考流畅度评估度量 SLOR，并介绍了一种更紧凑的语言模型 WPSLOR。本研究还引入了基于参考的度量 ROUGE-LM，该度量在可用参考下获得了更高的相关性。

    Sep, 2018

  • 图像描述生成的无参考度量评估

    该研究引入了 ContextRef 作为一个基准，用于评估视觉 - 语言模型的参考度量与人类喜好判断的一致性，并通过评估各种预训练模型、评分函数和上下文整合技术来提高描述质量。

    Sep, 2023