missing modality | BriefGPT

关键词missing modality

搜索结果 - 9

CVPR关于辍学引发的韧性研究，对于音频视觉语音识别中缺失视频帧的影响
研究了音频 - 视觉语音识别系统对缺失视频帧的敏感性问题，表明在应用 dropout 技术提高对缺失帧的鲁棒性的同时，也导致对完整数据输入性能的损失。通过揭示由于 dropout 引起的对音频存在过多的模态偏差，探究了这一对立现象，同时提出
PDF4 months ago
AAAI基于梯度引导的模态解耦用于缺失模态的鲁棒性
本文介绍了一种使用渐变指示器和梯度引导方法来解决多模态学习中的缺失模态和模态主导性的问题，同时设计了一种动态共享框架来处理模态不完整的数据，并在三个多模态基准数据集上进行了实验证明了该方法的有效性。
PDF4 months ago
多模态实体对齐中的不确定缺失和模糊视觉模态的重新思考
在多模态实体对齐研究中，我们发现当前模型普遍面临视觉模态不完整性、遗漏模态和模态歧义带来的挑战。为了解决这些问题，我们提出了 UMAEA 方法，通过有效减少参数和时间消耗，显著超越现有基准，并成功缓解了其他模型存在的限制。
PDFa year ago
可视化提示的灵活模态人脸反欺诈
最近，基于视觉变换器的多模态学习方法被提出来改善人脸反欺诈系统的鲁棒性。然而，由于各种成像传感器的缺失模态，从真实世界中收集的多模态人脸数据往往是不完整的。在本文中，我们提出了 “视觉提示灵活多模态人脸反欺诈” （VP-FAS）的方法，通过
PDFa year ago
CVPR多模态视觉识别中缺失模态的多模态提示
本文提出一种使用 prompt learning 的多模态学习框架，从而解决真实世界中遇到的模态缺失和模型训练资源需要的挑战。框架中含有 modality-missing-aware prompts，可插入到多模态 transformers
PDFa year ago
推广多模态变分方法到集合
提出一种基于集合的多模态 VAE 方法，可以直接对联合模态后验分布进行建模，从而在处理缺失模态等方面具有优异性能，适用于无序跨模态生成任务。
PDF2 years ago
EMNLP学习在存在缺失模态的情况下进行推荐
本篇论文提出一种基于多模态学习和缺失数据补全的推荐系统框架 LRMM，通过利用 modality dropout 和 multimodal sequential autoencoder 算法可以更好地处理缺失的多模态信息和冷启动问题。实验结
PDF6 years ago
跨模态蒸馏：条件生成对抗网络的案例
本文提出使用条件生成对抗网络（CGAN）从传感器数据中提取知识并增强低分辨率目标检测的方法，并着重解决缺失模态的问题，提出了一种基于 CGAN 的算法，可在给定其他可用模态时从缺失模态生成代表性信息。尽管存在模态差距，但演示了可以从一组模态
PDF6 years ago
利用深度卷积神经网络对缺失数据模式的城市土地覆盖分类
本文提出了一种基于卷积神经网络的城市土地覆盖分类方法，该网络可以嵌入所有可用的训练模态，并在测试阶段替换缺失的数据模态，实现数据融合功能，从而在测试中利用训练时缺失模态的信息，对比了标准卷积神经网络和两个标准卷积神经网络的整体表现。
PDF7 years ago