May, 2023

序列置信度校准的感知和语义感知正则化

PDF
TL;DR本文提出了一种注意变化、语义相关的序列正则化框架去加强模型对相关序列的监督，同时使用自适应校正强度模块来实现对样本困难度的更细粒度正则化，并在多项序列识别任务中达到先进水平的效果。
deep sequence recognitionlabel smoothingregularizationsemantic correlationstate-of-the-art performance
发现论文，激发创造
  • 上下文感知选择性标签平滑以校准序列识别模型

    本文提出了一种基于上下文的选择性标签平滑方法（CASLS），以解决训练过程中的过度拟合问题以及置信度校准问题，通过利用顺序数据中的上下文依赖性来构造混淆矩阵，并使用类特定错误率来调整平滑强度的权重，从而实现自适应校准。在场景文本识别和语音识别等序列识别任务上的实验结果表明，本文所提出的方法可以实现最先进的性能。

    Mar, 2023

  • 语义标签平滑用于序列到序列问题

    本文提出了一种针对 seq2seq 问题的标签平滑技术，能够克服大量输出的难题，通过充分的 n-gram 重叠和语义相似性，取得了明显的效果提升，并且在不同的数据集上超越了现有技术的最佳水平。

    Oct, 2020

  • 通过语音链重建和自我转录改进半监督序列到序列自动语音识别的一致性训练

    本文提出了一种改进的半监督序列到序列自动语音识别的一致性训练范式，利用音频链重构作为弱增强来生成高质量的伪标签，并证明了学生 ASR 模型产生的动态伪转录文本有助于一致性训练。实验结果显示，相对于监督基线，我们的改进范例在单说话者和多说话者情况下分别获得了 12.2% 和 38.6% 的 CER 提升。

    May, 2022

  • 基于注意力机制的序列到序列模型语音识别置信度估计

    本文探讨如何使用语音识别器的置信度得分来评估转录质量，提出了一种名为信心估计模块（CEM）的轻量化且有效的方法来解决端到端模型的过度置信问题，并发现 CEM 能潜在地改善半监督学习等下游任务。

    Oct, 2020

  • 校准序列似然改进条件语言生成

    本文介绍了序列可能性校准（SLiC）的方法，在序列生成过程中较大束搜索大小时生成质量会下降，通过使用 SLiC 可以不用启用启发式方法，从而显著提高候选解的生成质量。与传统的 MLE 模型相比，我们在许多生成任务中都获得了更好的结果。

    Sep, 2022

  • 半监督文本识别的连续视觉和语义一致性

    本文提出了一种新的半监督学习方法来进行场景文本识别（STR），该方法从视觉和语义两个方面融合了单词级一致性正则化，通过使用最短路径对齐模块以及采用强化学习框架来优化嵌入空间中预测字符串的语义相似性，实验结果表明该方法在多个标准和具有挑战性的 STR 基准测试中优于现有的半监督 STR 方法。

    Feb, 2024

  • 使用置换自回归序列模型的场景文本识别

    PARSeq 使用 Permutation Language Modeling 学习了一组共享权重的内部 AR 语言模型的集合，实现了无上下文的非 AR 和有上下文的 AR 推理以及使用双向上下文的迭代细化，使用注意力机制进行文本识别，取得了在 STR 基准测试中的最新成果，并在一些具有挑战性的数据集上建立了新的 SOTA 结果。

    Jul, 2022

  • 自我批评序列训练用于自动语音识别

    本文提出了一种基于损失函数和词错误率的奖励函数的增强学习方法 —— 自我关键序列训练 (SCST) 来解决自动语音识别中的若干问题，取得了 8.7% 和 7.8% 的词错误率相对改进。

    Apr, 2022

  • 重新考虑神经语音识别中的熵半环

    在流媒体环境中，语音识别模型需要在完整音频流可用之前将语音的子序列映射为文本，但由于训练过程中很少有语音和文本之间的对齐信息可用，模型需要以完全自我监督的方式进行学习。本文通过熵半环重新考虑了神经语音识别模型，展示了如何通过对齐熵来通过正则化或蒸馏来监督模型。在实证上，我们观察到对齐蒸馏的添加可以提高已经经过优化的师生蒸馏模型的准确性和延迟，实现了在流媒体场景下 Librispeech 数据集上的最新性能。

    Dec, 2023

  • 神经语义分析的置信度建模

    本研究致力于神经语义分析器的置信度建模，设计了各种度量标准来估计置信分数和确定哪些输入因素会导致不确定的预测，结论表明我们的模型显著优于传统方法并且提高了模型解释的质量。

    May, 2018