connectionist temporal classification | BriefGPT

关键词connectionist temporal classification

搜索结果 - 73

利用自知识蒸馏引导帧级 CTC 对齐
通过引入自知识蒸馏方法，解决了自动语音识别中教师 - 学生模型帧级对齐不一致的问题，该方法使用共享编码器层并将子模型作为学生模型，提高了资源效率和性能，并通过实验证明了所提方法通过减少对齐不一致来改善性能。
PDF18 days ago
PRoDeliberation：面向端到端口语理解的并行强化沟通
Spoken Language Understanding (SLU) 的关键组成部分是将语音转化为语义分析，以便进行任务执行。本研究介绍了 PRoDeliberation，一种利用基于连接主义时间分类的解码策略和降噪目标来训练稳健的非自回
PDF18 days ago
通过标签先验使 CTC 强制对齐更加平滑和准确
为了改善 Connectionist temporal classification (CTC) 模型的尖峰行为并提高其在强制对齐生成中的适用性，本文通过利用标签先验知识来增加路径中空白部分较少的对齐得分并在训练中将其最大化，从而使得我们的
PDF2 months ago
基于 Phonological Level wav2vec2 的发音错误检测和诊断方法
提出了基于语音属性特征检测的低层级发音错误检测方法，通过使用单一模型联合建模非互斥的语音属性特征，该方法在英语学习者的二语语音语料库上应用，并与传统的基于音素级别的方法进行比较，从而获得了明显较低的假接受率、假拒绝率和诊断错误率。
PDF8 months ago
基于 GPU 加速的 WFST 波束搜索解码器用于基于 CTC 的语音识别
通过引入支持当前 CTC 模型的 GPU 加速加权有限状态转录器（WFST）波束搜索解码器，我们提供了一种 GPU 加速的波束搜索解码器，可以提高管道吞吐量，减少延迟，并支持流式推理，同时支持实时组合进行话语特定的单词增强。我们针对离线和在
PDF8 months ago
基于发音驱动的子词切分的 CTC 端到端语音识别个性化
使用深度学习和自动语音识别相结合的端到端语音识别系统在识别个人内容（如联系人姓名）方面的准确率有所提高，但仍存在挑战。本研究描述了我们基于连接主义时序分类的端到端语音识别系统的个性化解决方案，通过建立在以往研究的基础上，提出了一种从发音生成
PDF8 months ago
FL4ASR 中优化器引起的平滑性的重要性：解密端到端 ASR 的联邦学习
本文使用联邦学习训练端到端自动语音识别模型，并研究了减小联邦学习与集中学习之间的词错误率差距的基本考虑因素，包括自适应优化器、改变连接主义时间分类权重的损失特性、模型初始化、模型的设置以及针对异构数据分布的联邦学习特定超参数。我们阐明了一些
PDF9 months ago
适用于顺序保持序列建模的变分连接主义时间分类
将序列模型 CTC 与变分模型相结合，导出两个可用于训练保持顺序、更具普适性的序列模型的损失函数，实现直接优化模型对数似然的变分下界。
PDF9 months ago
基于 CTC 的语音识别的单模聚合
该论文提出了一种非自回归自动语音识别方法，使用一种单模态聚合（UMA）来分割和整合属于同一文本令牌的特征帧，从而学习更好的文本令牌特征表示。与常规 CTC 相比，该方法学习到更好的特征表示，并缩短了序列长度，从而降低了识别错误和计算复杂度。
PDF9 months ago
提高 CTC-AED 模型的综合 CTC 和辅助损失正则化
本文介绍了连接主义时间分类（CTC）和基于注意力的编码器解码器（AED）联合训练在自动语音识别（ASR）中的应用，提出了两种融合方法，即 logits 的直接相加（DAL）和最大概率的保留（PMP），并引入辅助损失正则化以加速模型收敛和提高
PDF10 months ago
wav2vec 2.0 特征提取器的比较分析
该研究论文探讨了利用神经原始波形特征提取器替代传统特征提取方法以及其对自动语音识别系统的影响，并与另一种神经特征提取器进行对比分析，结果表明两者在 LibriSpeech 基准测试上与传统特征提取器具有竞争力，并且分析了所学习的滤波器对 A
PDFa year ago
与目标对齐：利用通用即插即用框架优化 CTC 模型所需属性
提出了一种名为 $ extit {Align With Purpose}$ 的通用 Plug-and-Play 框架用于在 Automatic Speech Recognition 等领域中，通过 CTC 和附加的损失项优化各种功能，例如发
PDFa year ago
多语言上下文适配器：提高低资源语言中自定义单词识别的效果
本文提出了一种监督损失的方法来平滑 Contextual Adapters 的训练，进一步探讨了多语言策略以提高有限的训练数据的性能，结果在一个低资源语言中检索未见过的自定义实体方面取得了 48％ F1 的提升。
PDFa year ago
基于对比学习的多语言音频与歌词对齐
本文介绍了一种新颖的歌词对齐系统，使用对抗学习导出跨模态嵌入，不仅训练简单、能使用弱标注数据、学习强大的文本模型，而且可用于多语言和获得了标准数据集下平均绝对误差小于 0.2 秒的最佳结果。
PDFa year ago
带标点的端到端流式自动语音识别模型的改进训练
本文提出了一种基于 Transformer 编码器和 CTC loss 的方法，实现对输入语音的标点文本进行预测，并通过对文本分块和话语的 CTC 损失组合，提高了标点预测的准确性和单词错误率。
PDFa year ago
弱监督不完美转录下的自动语音识别：绕过时间分类
提出了一种利用 Bypass Temporal Classification (BTC) 方法来扩大微调自动语音识别模型 (CNN) 准确性的算法，并且该算法构建了一个基于加权有限状态转换器 (WFST) 的可变性训练图来明确地编码训练期间
PDFa year ago
ACL基于 CTC 的非自回归语音翻译
本文介绍了一种基于 CTC 的非自回归语音翻译模型，采用预测感知编码方法和跨层注意力方法解决了翻译任务中的条件独立生成和单调对齐等问题，加速比为 5.67 倍，BLEU 分数为 29.5，在 MuST-C ST 基准测试上优于自回归模型和之
PDFa year ago
BA-SOT: 面向多说话人语音识别的边界感知序列化输出训练
该论文提出了一种基于边界的序列化输出训练（BA-SOT）模型，通过显式地将边界知识纳入解码器，结合语音识别的多个发言者和发言者变化预测，及通过引入二阶段连接时序分类（CTC）策略的令牌级 SOT CTC 来恢复时间上下文信息，并引入了针对发
PDFa year ago
神经转换器帧跳过的空白正则化 CTC
本研究提出了两种新的正则化方法，旨在明确鼓励 CTC 中非空白符号的自环，以增加空白符号的比例，从而加速神经转换器的推理，并且实验证明，我们提出的方法可以将神经转换器的帧减少率接近理论边界，提高性能并不损失性能。
PDFa year ago
联合 CTC 损失和自监督预训练声学编码器的端到端口语理解
本研究通过利用自我监督的声学编码器，提取文本嵌入，结合联合 CTC 和 SLU 损失的方法，实现了语音理解任务的话语级 SLU 模型，并在 DSTC2 数据集上比 SOTA 对话行为分类模型提高 4％绝对值，在 SLURP 数据集上比 SO
PDFa year ago