cross-modal learning | BriefGPT

关键词cross-modal learning

搜索结果 - 26

ICCV稀疏到密集特征匹配：基于域自适应的交叉模态学习用于 3D 语义分割
本文提出了一种基于跨模态学习的动态稀疏到稠密的交叉模态学习和在包含不同语义内容的 2D 和 3D 数据上进一步改进交叉模态对抗性学习，以大幅提高各种多模态领域自适应设置上的性能。
PDF3 years ago
LiRA: 通过自监督学习从音频中学习视觉语音表示
该研究提出了利用声音训练人脸运动的模型以提高口语阅读的准确度。
PDF3 years ago
跨模态学习用于视听视频解析
本文介绍了一种新的音频 - 视觉视频解析（AVVP）任务的方法，该方法将音频和视觉模态中的事件分开，在时间上同时检测这些事件的开始和结束，并利用对抗性训练、全局上下文知觉关注和自监督预训练来获得跨模态的音频 - 视频表示，实验结果表明本文的
PDF3 years ago
基于交叉模态学习的三维语义分割领域自适应
本文介绍了一种新的领域适应策略 - “交叉模态学习”，在无监督和半监督领域适应设置下，通过两种模式的相互模仿实现模态之间的一致性，在 3D 语义分割任务中证明了该方法的有效性
PDF3 years ago
CVPR可停用跳连的跨模态深度人脸法线
通过交叉模态学习实现，使用共享空间的编码器 - 解码器网络来对面部图像中的表面法向进行预测，并通过跳跃连接实现面部细节在图像和法线领域之间的转移。使用此方法，可以在没有匹配数据的情况下使用单模态数据进行附加训练，学习了丰富的潜在空间后，能够
PDF4 years ago
跨模态翻译的级联注意残差学习生成对抗网络
本文提出一种新型级联关注引导残差生成对抗网络（CAR-GAN），旨在通过音频信号重建场景。该模型通过残差模块和级联关注引导网络解决不同类型数据间的差异，并在高级语义标签领域中保持一致性，实现了跨模态音视频生成的最新进展。
PDF5 years ago