BriefGPT.xyz
Ask
alpha
关键词
hubert model
搜索结果 - 3
探究语音自监督模型中的 ' 自编码器行为 ': 以 HuBERT 的预训练为重点
自我监督学习在语音识别中取得了巨大成功,然而已观察到微调学习模型的所有层相对于重设顶层会导致性能下降,这种现象被归因于 "自编码器" 行为:顶层包含更接近于输入的信息,对于需要语言信息的任务(例如语音识别)不太适用。为了更好地理解这种行为,
→
PDF
2 months ago
语音情绪识别的帧级情绪状态对齐方法
我们提出了一种针对 SER 的帧级情感状态对齐方法,通过为 HuBERT 模型设置任务自适应预训练(TAPT)方法并使用聚类生成帧级伪情感标签,然后利用这些伪标签对 HuBERT 进行预训练,使其每个帧输出都具有相应的情感信息。最后,通过在
→
PDF
6 months ago
FaceXHuBERT:基于自监督语音表征学习的无文字驱动表情丰富的 3D 面部动画合成
该研究提出了一种基于语音和自监督预训练 HuBERT 模型的 3D 面部动画生成方法,可以捕捉到语音中的身份、情感和犹豫等个性化和微妙的提示,同时具有很强的抗干扰能力和适应性。
PDF
a year ago
Prev
Next