BriefGPT.xyz
Ask
alpha
关键词
modality-invariant representations
搜索结果 - 2
多模态因果结构学习与根本原因分析
本研究提出了一种统一的多模态因果结构学习方法 Mulna,通过一个定制的语言模型来学习日志表示,将日志序列转化为时间序列数据,并采用基于对比学习的方法提取多模态中不变和特定于模态的表示。此外,引入了一种考虑关键性能指标的注意机制来评估模态可
→
PDF
5 months ago
AAAI
通过强化学习利用语言和视觉的模态特定表征进行音视频语音识别
我们提出了一个基于强化学习的框架(MSRL),动态地协调模态不变和模态特异性的表示,从而稳定地提供互补信息,用于音视频语音识别任务,实验结果表明,此方法在 LRS3 数据集中取得了最新的成果。
PDF
2 years ago
Prev
Next