self-supervised speech models | BriefGPT

关键词self-supervised speech models

搜索结果 - 13

自我监督的语音表征更加语音学而非语义学
本研究通过对自监督语音模型 (S3Ms) 的单词级别语言属性进行细致分析，发现 S3M 表示对于音韵相似性的相似度比语义相似性更高，并提出了对广泛使用的目标分类数据集进行语义能力评估的疑问。实验证明，即使只使用单词自身的信息，也能超越基于
PDF20 days ago
DAISY: 自适应数据自我监督的语音表示模型的早期退出
自主训练的语音模型在各种任务中已显示出其有用性，但其庞大的体积限制了在计算能力和内存较低的设备中的使用。本论文探讨了一种早期退出的方法，用于通过尽早退出网络的前向过程来减少延迟。我们介绍了数据自适应自主训练早期退出（DAISY）方法，该方法
PDF24 days ago
预训练语音模型的高效适配器调优用于自动说话人验证
通过在预先训练的模型中插入轻量级适配器模块，将自监督语音模型适应到说话人验证任务中，我们提出了一个高效的适配器框架。实验结果表明，该框架在更新仅 5% 的参数的情况下，超过了微调和其他参数高效的迁移学习方法，实现了卓越的性能。
PDF4 months ago
将自监督语音模型与基于视觉语音模型的伪词级目标整合
我们提出了 Pseudo-Word HuBERT （PW-HuBERT）框架，该框架将伪词级目标集成到训练过程中，这些目标是从视觉引导的语音模型中获取的，明显消除了对语音 - 文本配对数据的需求，在四个口语理解基准测试中，我们的模型在捕捉语
PDF5 months ago
自监督声学词嵌入的逐层分析：基于语音情感识别的研究
研究验证了自我监督语音模型的有效性，但是在各种任务中最佳利用其表示仍然具有挑战性。本研究深入研究了声学词嵌入（AWEs），这是从连续表示中得出的固定长度特征，以探索它们在特定任务中的优势。通过在两个不同的语料库 IEMOCAP 和 ESD
PDF5 months ago
生成上下文感知的自监督语音模型微调
使用生成式的上下文感知微调方法，该方法通过生成文本来提取上下文信息并改善模型预测能力，无需真实前文或语言模型在推断时的访问，且只需一个非常小的附加上下文模块，并在自监督语音模型的微调过程中进行提取和蒸馏。
PDF7 months ago
EMNLP基于嘈杂词边界的 XLS-R 微调，实现无监督语音分词
利用半监督学习的灵感，我们使用最新的自我监督语音模型通过微调迅速适应新任务，实现在没有文本监督的情况下，将语音句子分割为单词单位的挑战，我们通过微调 XLS-R 模型来预测由顶级语音分割系统（DPDP、VG-HuBERT、GradSeg 和
PDF9 months ago
自我监督的语音模型对单词的了解程度如何？
本研究发现，不同的自监督语音模型可以在不同的层次编码语言特征，在中间层最大程度地捕获了词级的信息，同时在较高层保留了发音等低层次信息，并用在无额外参数的情况下测试了这些模型的层次表现，同时发现使用 HuBERT 或 WavLM 的最佳表现层
PDFa year ago
自监督语音模型探测音素和音位信息：以送气现象为案例研究
本文评估了自我监督语音模型的学习表示与人类语音的差异，结果表明这些模型在语音数据的优化和高维架构的帮助下成功地捕捉了语音的基本音素和音位特征，尤其是 speech-trained HuBERT 模型实现了抽象音位差异的低噪声和低维子空间。
PDFa year ago
基于 Wav2vec2 的假音频检测的低秩适应方法
文章介绍了如何使用低秩适应（LoRA）方法在不显著劣化性能的情况下，有效减少预训练语音模型的微调时间和内存占用
PDFa year ago
文本和语音预训练模型之间的自适应知识蒸馏
本文介绍了一种通过度量学进行知识蒸馏以改善文本和音频的嵌入向量的对齐，提出了 Prior-informed Adaptive knowledge Distillation (PAD) 方法，该方法具有更好的文本语音模型之间的传输能力，我们在
PDFa year ago
自监督语音模型的分层比较分析
本研究使用基于规范相关性分析（CCA）的轻量级分析工具，考察了多种最近模型的中间表示，发现它们所编码的属性在不同层次上发展，变化与预训练目标的选择有关，进一步探究了这种分析在下游任务中的实用性，并发现 CCA 趋势为选择下游任务感兴趣的层提
PDF2 years ago
针对自监督语音模型的一次性序列压缩
本研究提出了一种可以在多种下游任务中调节压缩率的模型压缩方法，该方法可以在保证语音模型性能的前提下，减小计算成本并且不需要通过网格搜索来确定不同任务的压缩率。
PDF2 years ago