BriefGPT.xyz
Ask
alpha
关键词
modality missing
搜索结果 - 4
KDD
利用基础模型进行多模态不完整模态联邦学习
本文提出了一种新颖的多模态联邦学习方法 FedMVP，通过集成大规模预训练模型来增强联邦训练，解决了多模态数据集中可能丢失模态的问题，在客户端和服务器端分别采用不同的方法进行模态补全和模型聚合，并在实际图像 - 文本分类数据集上证明了该方法
→
PDF
20 days ago
傅里叶引导的模态不完整场景分割
通过引入 Missing-aware Modal Switch (MMS) 策略和 Fourier Prompt Tuning (FPT) 方法，该研究提出了一种改进的多模态分割方法，提高了在多模态感知系统中处理模态不完整性的能力。实验证明
→
PDF
5 months ago
多模式机器学习中通过原型掩码和对比度处理缺失模态
通过引入原型库到基于 FedAvg 的联邦学习框架，提出了一种解决模态缺失问题的方法，利用原型作为缺失模态的掩码来构建任务校准的训练损失和模型不可知的单模态推断策略，实验证明该方法在推断准确性方面达到了最先进水平。
PDF
7 months ago
RedCore：相对优势感知的跨模态表示学习：针对不平衡缺失率的情况
我们提出了一种名为 RedCore 的相对优势感知跨模态表示学习方法，用于处理存在缺失模态和具有不平衡缺失率的情况，通过 VIB 方法进行跨模态表示学习并通过双层优化问题自适应调节所有模态的监督，实验证明 RedCore 模型在对大量或不平
→
PDF
7 months ago
Prev
Next