audio representation | BriefGPT

关键词audio representation

搜索结果 - 11

音乐信息检索中用于音乐流派识别的一种新型音频表示
通过将音乐进行深度向量量化，为创新的生成音乐模型 Jukebox 创建了一种新型的音频表示方法，并使用与最先进水平相当的数据集进行比较分析，结果显示 Jukebox 的音频表示方法在预训练使用限定数据集时不如 Mel 频谱图，这可能是因为
PDF3 months ago
Lip2Vec: 通过隐藏到隐藏的视听表示映射实现高效稳健的视觉语音识别
基于 Lip2Vec 的视觉语音识别（VSR）模型通过学习先验模型，将嘴唇序列的编码潜在表示映射到对应的音频潜在表示，以实现有效的文本解码。利用现成的音频语音识别（ASR）模型将生成的音频表示解码为文本，该方法在 LRS3 数据集上实现了
PDFa year ago
SLICER: 使用低资源自监督预训练学习通用音频表示
SLICER 是一种使用自监督学习技术的先前编码器的新方法，可以减少音频和语音分类需要大量标记数据的情况。它使用聚类和对比学习范例的组合来提高语音表示学习的效果，并进行实例和聚类层对比学习任务。此外，它还使用了一种新的 mel 频谱增强程序
PDF2 years ago
AAAI通过交叉模态干扰抹除实境中的视听定位
本文提出了 Interference Eraser（IEr）框架，用于处理复杂的真实场景中的音频 - 视觉声源定位问题。通过增强音频表示和采用跨模态引用模块的跨模态蒸馏，消除混杂声音和噪音对音频 - 视觉连接的干扰，在定量和定性评估中，我们
PDF2 years ago
学习通用音频表示
提出一种基于 Slowfast 架构的正常化器自由的 NFNet 音频表示方法，并通过 HARES 跨领域 12 项测试取得优异表现，表明 SimCLR 目标能够促进更强健的音频表示学习。
PDF3 years ago
基于 Conformer 的自监督学习用于非语音音频任务
本文提出了一种自监督的音频表征学习方法并将其应用于多种非语音音频任务，这种自监督的预训练可以将标记数据需求减少三分之二，并在 AudioSet 基准测试中通过声音自主训练实现了 0.415 的平均平均精度（mAP）得分，在多个下游任务中，我
PDF3 years ago
BYOL 音频表示的自监督学习：用于通用音频表征
本研究提出了一种基于自我监督学习的通用音频表示学习方法，采用 Bootstrap Your Own Latent (BYOL) for Audio 方法，通过标准化和数据增强技术，从单个音频段中学习音频表示，在各种下游任务中实现了最先进的结
PDF3 years ago
音频表示的多格式对比学习
本研究通过多种不同格式的单一模态对比学习框架，最大程度地提高音频表示的有效性，取得了一定的效果。在 AudioSet 和 ESC-50 分类任务上，我们的声音单一方法取得了新的最佳结果，平均精度为 0.376，准确率为 90.5％。
PDF3 years ago
联合掩码 CPC 和 CTC 训练用于自动语音识别
这篇论文介绍了一种利用自监督学习方法，通过单阶段训练自动语音识别模型，利用标记数据和非标记数据来训练模型，实现了对下游任务性能的直接优化，并在 Librispeech 100-hour 数据集上实现了类似于 wav2vec ~2.0 的词
PDF4 years ago
通用音频表示的对比学习
COLA 是一种基于对比学习的自监督预训练方法，用于学习音频的通用表示，通过在大规模的 Audioset 数据库上进行预训练，使得其在包括语音、音乐、动物声音和声学场景等 9 项分类任务中性能显著优于之前的自监督系统，并进一步通过消融研究指
PDF4 years ago
巧合、分类和巩固：学习在最小监督下识别声音
提出一种结合机器学习中自我监督、聚类目标和主动式学习的学习框架，以改善音频表征和识别，实现新的最先进的无监督音频表征并证明了它的有效性。
PDF5 years ago