modality imbalance | BriefGPT

关键词modality imbalance

搜索结果 - 7

多尺度瓶颈变形器用于弱监督的多模态暴力检测
通过利用多种多样性的模态，如 RGB，光流和音频，以及仅具备视频级别注释的多模态暴力检测模型的学习，我们提出了一种新的弱监督多模态暴力检测方法，明确解决了信息冗余，模态不平衡和模态异步性等三个关键挑战，进一步提出了一种时间一致性对比损失来语
PDF2 months ago
IJCAI音频 - 视觉交叉模态条件语音提取中的分离
AVSepChain 是一种多模态学习方法，通过将音频 - 视觉目标语音提取任务分为两个阶段（语音感知和语音产生），改善了模态不平衡的问题，并引入了对比语义匹配损失函数来确保生成的语音与语音产生阶段的唇部运动所传达的语义信息一致，实验结果表
PDF3 months ago
自适应掩码子网络学习多模态优化的均衡技巧
通过引入互信息率确定重要性，并采用非均匀自适应采样和前景子网络选择进行参数更新，从而平衡多模态学习，该研究提出了一种新的重点抽样的元素级联合优化方法，成为自适应掩码子网络考虑模态重要性 (AMSS)，并通过收敛分析证明了 AMSS 策略的可
PDF3 months ago
CVPR抑制和平衡：通往广义多模式人脸反欺诈
在人脸识别系统中，针对演示性攻击，多模态学习方法面临模态不可靠性和模态不平衡性的挑战，本研究提出了 Uncertainty-Guided Cross-Adapter (U-Adapter) 和 Rebalanced Modality Gra
PDF4 months ago
音频线索加强的音频视觉分割引导
提出了 AVSAC 方法，通过构建双向音频 - 视觉解码器并采用二向桥接设计，实现了音频线索的增强和音频与视觉模态之间的连续交互，从而缩小模态不平衡、促进整合音频 - 视觉表示的有效学习。此外，提出了音频 - 视觉帧同步策略，通过更好的同步
PDF5 months ago
跨模态渗透的平衡多模态联邦学习
通过知识从全局优势形式中转移，我们提出了一种新颖的跨模态渗透联邦学习（FedCMI）框架，有效缓解分布式条件下的模态失衡和知识异质性问题，并且在弱模态中促进局部特征开发，实现了公平的类别性能表现。
PDF6 months ago
客户端智能模态选择用于平衡多模态联邦学习
为了解决传统在多模态联邦学习中出现的模态失衡问题，提出了一种基于客户端的模态选择方案 CMSFed，该方案可以全面利用每个模态的信息，避免由模态不平衡引起的客户端选择偏差，通过选择性地使用不同模态的本地数据参与本地训练和聚合，来减轻全局模型
PDF6 months ago