wav2vec 2.0 | BriefGPT - AI 论文速递

关键词wav2vec 2.0

搜索结果 - 46

开放式实现与研究最佳音质要求用于语音处理
自学习（SSL）在多种语音任务中被证明是有用的。然而，这些方法通常在数据、内存和计算资源方面要求非常高。BERT 基于随机投影量化器的语音预训练 (BEST-RQ) 是一种 SSL 方法，在自动语音识别（ASR）上表现出色，同时比其他 SS
PDF2 months ago
情感模仿预测的单模态多任务融合
通过利用 Wav2Vec 2.0 框架进行语言和语音特征提取，以及 LSTM 架构对音频数据进行时序分析，本研究提出了一种在情感行为分析竞赛中对情感模仿强度进行估计的方法，取得了显著的改进。
PDF3 months ago
将语音信号转换为超声舌影像数据的音频 - 文本扩散模型
本文提出了一种音频文本扩散模型用于 UTI 数据生成任务，通过编码个人的固有声学特征和与舌头运动相关的 ASR 转录，最终生成了具有清晰舌轮廓的高质量 UTI 数据，对于语言分析和临床评估至关重要。
PDF4 months ago
基于马氏距离的非监督式外部方言检测
我们提出了一个简单而有效的无监督马氏距离特征方法，在流行的 wav2vec 2.0 变换器式方言分类器模型的所有中间层的潜在嵌入上进行多任务学习，用于检测超出分布的样本，并在 OOD 检测方法方面显著优于其他最先进的方法。
PDFa year ago
同步还是顺序训练？多任务自监督学习系统中语音表示如何协作
本文研究了基于 wav2vec 2.0 的自我监督学习和基于 transformer 的视觉接地语音的联合优化作为多任务学习系统，发现先进行 wav2vec 2.0 的串行训练，再进行 VGS 可以提高音频 - 视觉检索的性能，但是并行 S
PDFa year ago
基于基础模型和最优输运技术的语音翻译：UPC 参加 IWSLT23 比赛
本文介绍了 UPC 语音翻译小组提交给 IWSLT 2023 离线语音翻译任务的成果。他们使用了基于 wav2vec2.0 和 mBART50 的基础模型，通过 CTC 和最优传输的同时式预训练步骤，将语音编码器和文本编码器适应到一个空间
PDFa year ago
针对低资源语言的文本转语音自动 MOS 预测的资源有效调整策略
通过对 BVCC 和 SOMOS 数据集进行 wav2vec 2.0 预训练和微调，实现了针对 LRL West Frisian 的零样本 MOS 预测。研究表明，在 30% 的数据使用量之后，使用更多的数据并没有显著性的提高性能；同时，对
PDFa year ago
口吃往往不是孤立的事件 —— 将口吃检测作为多标签问题的跨语料库研究
本文探讨了用基于注意力机制分类器和多任务学习的改进 wav2vec 2.0 系统，将口吃的检测方法作为多标签问题进行的多语言和跨语料库端到端口吃检测。通过使用包含英语和德语口吃语音的三个数据集的组合以及包含流利塑形的语音的一个数据集来评估方
PDFa year ago
使用知识蒸馏的语言通用适配器学习实现端到端多语言语音识别
本文提出了一个基于预训练模型的语言通用适配器学习框架，用于端到端的多语言自动语音识别。通过插入特定于语言和语言通用适配器来微调 Wav2Vec 2.0 预训练模型，然后使用在线知识蒸馏来使语言通用适配器学习特定于语言和通用特征，通过利用语言
PDFa year ago
利用辅助任务在 Wav2vec 2.0 和 BERT 的多模态融合中进行多模态情感识别
这篇研究通过在两种模态数据上使用预训练模型进行微调，使用 K 层多头注意机制进行下游融合，设计两种辅助任务以提高情感识别的表现，相比其他最先进的模型在 IEMOCAP 数据集上实现了更好的性能。
PDFa year ago
使用旁路分离器将单通道语音识别系统转换为多通道系统
本研究提出了一种基于 Sidecar 分离器的多说话人语音识别方法，旨在提高 ASR 模型在多说话人情况下的识别效果，实验结果显示该方法优于现有最先进水平。
PDFa year ago
利用自监督语音表示进行 L2 熟练度评估
本文介绍一种基于自监督语音表示的自动口语评估系统，并将其与传统的基于语音识别和基于文本的评估系统进行比较。研究结果表明，该系统可以在适当情况下与其他系统媲美甚至取得更好的表现。
PDF2 years ago
利用 wav2vec 2.0 进行 L2 口语英语的熟练度评估
本研究通过研究两个小数据集，其中一个是公开的，探讨使用 wav2vec 2.0 对英语口语能力的整体和各方面进行评估的可行性，相对于基于 ASR 和手动转录训练的 BERT 基准系统，发现此方法有很大的提升。
PDF2 years ago
自监督语音模型的探索：情感语料库研究
本研究通过定量分析情感语料库探索了一种流行的自我监督模型 ——wav2vec 2.0，主要证明了：1）wav2vec 2.0 似乎会丢弃不太有用于词汇识别的语用信息；2）对于情感识别，只使用中间层的表示与对多个层求平均后的表示效果相当，在某
PDF2 years ago
在孟加拉通用语音数据集上应用 Wav2Vec2 进行语音识别
本文基于 Bengali Common Voice Speech 数据集，使用 fine-tuned 的 wav2vec 2.0 实现了对孟加拉语言音信号的识别和转录，使用了 5-gram 语言模型并计算 Levenshtein 距离，得到
PDF2 years ago
通过自修剪学习双模式语音识别模型
该研究旨在通过 Omni-sparsity supernet 方法联合训练一个紧凑稀疏的流式 ASR 模型和一个大型密集的非流式服务器模型，进而提高现有 ASR 模型的性能。
PDF2 years ago
MALACH 项目中基于 Transformer 的正式与口语捷克语自动语音识别
本文研究以最新的端到端自监督音频 Transformer 技术为基础，探讨非正式口语形式对 Wav2Vec 2.0 模型性能和转录正式文本的影响，并提出具有正式和非正式语言模型的训练方案及评测结果。
PDF2 years ago
使用大型数据集探索单语音频 Transformer 在捷克语自动语音识别中的能力
本文介绍了在大数据集上通过预训练机器学习模型和微调等方法，利用无标签语音数据和有标签语音数据对 Wav2Vec 2.0 进行 ASR 系统的训练及评估，并取得成功的实验结果。
PDF2 years ago
利用声学特征检测认知损伤：超越 Cookie 盗窃图片测试
该研究使用标准化测试中的语音数据，通过使用 OpenSMILE 特征和支持向量机分类器，成功实现了认知障碍的自动检测，并使用 wav2vec 2.0 特征提取技术进一步提高了识别准确度。
PDF2 years ago
使用感知同化模型和最先进的声学模型预测非母语言音知觉
本文通过利用两个先进的语音模型 (Dirichlet process Gaussian mixture model 和 wav2vec 2.0) 的表现来实现一种新的想法，探讨母语对语音感知的影响，以 61 个元音为例，并表明音位同化比精细
PDF2 years ago