conformer | BriefGPT - AI 论文速递

关键词conformer

搜索结果 - 31

Conformer：将连续注意力嵌入视觉 Transformer 以用于天气预测
以 Transformer 为基础的模型在天气预报中显示出了显著的潜力，但受到离散模型的限制，其学习连续的时空特征方面能力有限。本文提出了一种用于天气预报的时空连续视觉 Transformer 模型 Conformer，通过在多头注意力机制
PDF4 months ago
COLING鬣狗如何处理人类语音？使用 ConfHyena 进行语音识别和翻译
借鉴 Hyena 模型进行改进，我们提出了 ConfHyena 模型，以减少长序列语音处理的计算时间并保持较高的质量表现。在英语的自动语音识别和从英语到 8 种目标语言的翻译实验中，我们的 ConfHyena 模型在训练时间上节约了 27％
PDF4 months ago
基于 Conformer 的极端边缘计算设备上的语音识别
本文提出了一种在资源受限设备上实现高级 Conformer 基于端到端流式 ASR 系统的模型架构调整、神经网络图形转换和数值优化的方法，实现了与实时识别相比超过 5.26 倍的速度（0.19 RTF），同时最小化能源消耗并达到最新的准确性
PDF7 months ago
ConFormer：辅助心脏专家评估心脏功能的新颖深度学习模型集合
该论文介绍了一种名为 ConFormer 的深度学习模型，用于自动估计超声心动图中的射血分数和左心室壁厚度，通过实现 ConFormer 模型，有可能实现经济高效、易于获取且全面的心脏健康监测，从而挽救无数生命。
PDF7 months ago
MM视频参照表达理解中的基于内容条件查询的 Transformer
使用动态查询和跨模态对齐，基于 Transformer 方法的 ConFormer 模型在视频参考表达理解中表现出色，实现了对目标对象的定位。
PDF8 months ago
高效基于 Conformer 的端到端语音识别关键帧机制
我们提出了一种使用关键帧的自注意力机制和下采样机制的方法，能够降低 Conformer 模型中自注意力机制的计算复杂度，并取得与基准模型相当或更高的性能。同时，我们的方法在模型训练和推断过程中，可以丢弃超过 60% 的无用帧，从而显著加速推
PDF8 months ago
Zipformer：一种更快、更好的自动语音识别编码器
我们提出了一种更快、更节省内存、性能更好的变压器模型 Zipformer，它通过在 U-Net 类似的编码器结构中进行中间堆栈的操作以较低的帧速率工作，重新组织块结构以提高效率，使用 BiasNorm 的修改形式来保留一些长度信息，新的激活
PDF8 months ago
HM-Conformer: 带有分层汇聚和多级分类令牌聚合方法的基于 Conformer 的音频深度伪造检测系统
音频深度伪造检测是检测由文本转语音或语音转换系统生成的欺骗攻击的任务。为了解决序列长度和信息聚合的问题，本文提出了 HM-Conformer，采用分层池化方法和多级分类令牌聚合方法，通过处理不同的序列长度并聚合它们，有效地检测欺骗证据。在
PDF10 months ago
基于 Conformer 的单声道音频目标说话人自动语音识别
我们提出了 CONF-TSASR，这是一种非自回归的端到端时间 - 频率域架构，用于单通道目标人说话者自动语音识别（TS-ASR）。该模型包括基于 TitaNet 的说话者嵌入模块，基于 Conformer 的掩蔽和 ASR 模块，通过联合
PDFa year ago
使用对抗和基于信号增强技术的阿拉伯语运动失调言语识别
本文旨在通过多阶段增强方法来改进阿拉伯语言障碍患者的自动语音识别性能，具体包括使用基于信号的方法生成阿拉伯语言障碍患者的语音，并通过对英语语言障碍患者语音数据进行训练以进行多语言扩充，以及在不同的语音障碍程度下进行微调和文本纠正策略。通过这
PDFa year ago
用于流式多语言 ASR 的专家混合 Conformer
提出了一种流式的、真正的多语言 Conformer 模型，其中融合了 MoE 层以提高推理效率，经在 12 种语言上评估，相对于基线获得 11.9% 的相对 WER 改进；在不使用语言信息的前提下，与使用 Ground Truth 信息的适
PDFa year ago
ACL双工扩散模型改进语音对语音翻译
本文提出了一种基于双向扩散模型的可逆性语音翻译方法，通过将扩散概率模型应用于可逆的 Conformer 的两侧，使两个方向都能同时输入和输出不同语言的语音。实验表明，该模型在 ASR-BLEU 得分方面取得了显著的改进，成为了可逆性语音翻译
PDFa year ago
电子分支形变器与传统形变器在语音识别、翻译和理解任务中的对比研究
本文比较 E-Branchformer 和 Conformer 两种编码器在语音处理方面的性能，并表明 E-Branchformer 在大多数评估数据集上表现比 Conformer 更好，并且在训练期间更加稳定。
PDFa year ago
视觉语音识别只需拟态
提出采用线性视觉前端结合更大 Conformer 编码器来实现更低的延迟，更高的内存效率和更好的 WER 性能，从而达到新的 TED LRS3 数据集上的视觉语音识别的最佳性能。
PDFa year ago
改进和分析用于 ASR 的神经说话人嵌入
本文研究了将神经说话者嵌入用于一个 ASR 系统，并通过基于 Conformer 的混合 HMM ASR 系统，在使用加权简单加法（Weighted-Simple-Add）集成方法时，展示了改进的嵌入提取流程，通过比较和分析不同的说话者嵌入
PDFa year ago
意外学习者：多语言自监督模型中的口语识别
本文通过采用 Conformer 架构，在多语言预训练模型中扩展了以往的自监督方法，我们发现预训练的语音模型最佳地在底层编码语言的区分信息。进一步地，我们证明了从这些层获取的嵌入对于分类未见过的语言和不同的声学环境具有显著的鲁棒性，无需额外
PDF2 years ago
Transformer、卷积和循环神经网络在音素识别上的比较
本文探讨了 CNN、RNN、Transformer 及 Conformer 模型在语音识别方面的应用，对不同架构的精度进行了比较和分析，发现 Transformer 和 Conformer 模型在输入帧的长程可达性方面表现优异。
PDF2 years ago
语音识别的稀疏深度 Conformer 模型
本研究提出了一种基于 Conformer 的深度稀疏自注意力机制的自动语音识别模型，能有效提高长序列数据的表达能力和提高识别率。
PDF2 years ago
使用块增强变压器提升普通话语音识别
本文提出了一种基于 Conformer 的 Block-augmented Transformer 模型来更好地利用编码器和解码器中各块的互补信息，这个模型在 AISHELL-1 语音识别任务中性能优于当前的最新模型 Conformer，并
PDF2 years ago
基于视觉感知的音频特征增强，用于稳健的端对端音视频语音识别
本文提出了一种噪声强韧的端到端的视听语音识别系统，其中使用视觉背景驱动音频特征增强模块（V-CAFE）通过考虑所获得的视觉背景来生成噪声降低掩模，进而提升音频特征，结合 Conformer 和 Transformer 模型进一步提高了噪声稳
PDF2 years ago