Feb, 2023

面向事实一致性的语音识别

PDF
TL;DR本文提出了一种优化框架来减少自动语音识别模型产生的幻听，该框架通过使用先前训练好的评估器计算现实一致性得分，最大限度地优化 ASR 模型，以最大限度地提高 ASR 假设与基础事实一致性的期望得分，实验结果表明，使用提出的框架训练的 ASR 模型产生了与交叉熵训练的 ASR 模型相当的单词错误率，同时生成的 ASR 假设与基准真实转录的一致性得分显著提高，而且通过大型语言模型生成的会话摘要的可靠性也得到了提升。
optimizationautomatic speech recognitionfactual consistency scorehallucinationsspeech summarization quality
发现论文，激发创造
  • Hypr: ASR 假设修订的全面研究与参考文献

    通过发布 ASR 假设修正（HypR）数据集和对几种经典的代表性方法进行实现和比较，展示了修正语音识别结果的最新研究进展，希望这些公开可用的 HypR 数据集能够成为进一步研究的参考基准，并推动相关研究领域的发展。

    Sep, 2023

  • 提高口语理解的 ASR 错误管理

    介绍了一种基于神经网络的自然语言处理方法，用于识别语音识别中的错误和改进语音理解系统的性能。实验结果表明，该方案可以显著降低概念 / 值错误率，并且结合基于条件随机场的 SLU 方法和神经编码器 / 解码器注意力机制，可以识别出置信度区间和不确定性的语义输出片段，进而决定适当的错误处理措施。

    May, 2017

  • 提高回复和角色真实事实之间的事实一致性

    通过增加奖励机制，使用强化学习方法来提高响应与用户角色特征事实之间的一致性，从而促进神经模型的响应生成能力。

    Apr, 2020

  • 通过语音链重建和自我转录改进半监督序列到序列自动语音识别的一致性训练

    本文提出了一种改进的半监督序列到序列自动语音识别的一致性训练范式，利用音频链重构作为弱增强来生成高质量的伪标签，并证明了学生 ASR 模型产生的动态伪转录文本有助于一致性训练。实验结果显示，相对于监督基线，我们的改进范例在单说话者和多说话者情况下分别获得了 12.2% 和 38.6% 的 CER 提升。

    May, 2022

  • 基于大型语言模型的事实对话摘要

    通过使用符号知识蒸馏方法改善小型预训练模型的事实一致性，我们在对话摘要中取得了更好的事实一致性，同时保持了连贯性、流畅性和相关性。

    Jun, 2024

  • 评估抽象文本摘要的事实一致性

    该研究提出了一种弱监督、基于模型的方法来验证摘要的事实一致性，并鉴别来源文献和生成的摘要之间的冲突。

    Oct, 2019

  • 语言引导的具身化智能体多模式语音识别

    本文提出了一种多模式自动语音识别模型，通过考虑附带的视觉上下文来减少口头指令的错误转录，使用了仿真的噪声环境。实验结果表明，使用多模态 ASR 模型可使任务完成的准确性得到提高。

    Feb, 2023

  • mFACE: 多语言事实一致性评估自动摘要

    本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果，针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。

    Dec, 2022

  • 提高抽象摘要的事实一致性

    文章提出了一种基于事实感知的自动摘要模型 FASum，通过图注意力来提取和整合摘要生成过程中的事实关系，并设计了一个名为 FC 的事实校正模型来自动纠正现有系统生成摘要中的事实错误。实证结果表明，基于事实感知的自动摘要可以生成具有更高事实一致性的抽象摘要，并且纠错模型通过只修改少量关键词就可以提高给定摘要的事实一致性。

    Mar, 2020

  • 通过问答提高摘要生成的事实一致性

    本文提出了一种解决摘要生成模型中可能存在错误信息的方法，策略包括评估指标度量、新型学习算法、人工评估等，并通过大量实验证明该方法对提高信息事实准确性和提高摘要整体质量都非常有效。

    May, 2021