BriefGPT.xyz
Ask
alpha
关键词
modality dropout
搜索结果 - 2
u-HuBERT:统一的混合模态语音预训练与零样本迁移到未标记模态
本文提出了 u-HuBERT,它是一个能够利用模态失效的自监督预训练框架,可以在保持优秀性能的同时,实现单模型处理多模态的语音输入。
PDF
2 years ago
CVPR
多模态动作识别中可学习的无关模态丢弃技术 —— 以特定模态注释视频为例
通过使用语言模型构建语义音视频标签字典,本文提出了一种新的音视频框架来有效利用任何仅具有视觉注释的数据集中的音频模态,在训练阶段使用 SAVLD 以及预训练的多标签模型来估计音视频模态相关性,并提出了一种可学习的无关模态 dropout 方
→
PDF
2 years ago
Prev
Next