modality discrepancy | BriefGPT

关键词modality discrepancy

搜索结果 - 7

优化跨模态微调，逐步生成中间模态
我们提出了一种用于增强跨模式微调的端到端方法 PaRe，通过使用选择机制和修补替换方案，逐渐生成丰富的中间模式数据，以有效弥合模态差异并提升跨模式微调的稳定性和可传递性。与手工设计、通用目标、任务特定和最先进的跨模式微调方法相比，PaRe
PDF23 days ago
可见 - 红外人物再识别的频域细节挖掘
本文首次探索了可见光 - 红外人物再识别的潜在频率信息，提出了一种新颖的频域差异挖掘方法 (Frequency Domain Nuances Mining)，通过挖掘跨模态的频率领域细微差异，从频域角度有效降低了模态不一致性。实验证明，该方
PDF6 months ago
频域模态不变特征学习在可见 - 红外人员再识别中的应用
通过频域透视角度降低现有频域可见光红外人物再识别方法中的模态差异问题，通过引入实例自适应振幅滤波模块和短语保持归一化模块强化模态不变振幅分量并抑制模态特定分量，研究结果表明我们的模型在 SYSU-MM01 和 RegDB 两个标准数据集上性
PDF6 months ago
AAAI基于高阶结构的中间特征学习用于可见 - 红外人员再识别
通过引入高阶结构信息的中级特征学习网络，有效解决了可见光 - 红外人物再识别中高阶结构信息的忽略、模态差异导致特征空间难学习的问题，并在多个数据集上取得了优于现有方法的性能。
PDF7 months ago
学习用于异质人物再识别的跨模态信息瓶颈表示
通过互信息和模态一致性网络，提取具有代表性信息的模态不变身份特征，减少冗余，消除模态差异，并对关键部分进行全局 - 局部特征提取，以实现可见 - 红外人物重识别任务。
PDF10 months ago
AAAI基于模态自适应 Mixup 和不变分解的 RGB+IR 人员再识别方法
本文提出了一种新的模态自适应 Mixup 和不变分解方法（MID），以学习模态不变和具有鉴别力的表征，以应对 RGB - 红外人物再识别中由于 RGB 和红外图像之间的显着模态差异而产生的挑战，并在两个具有挑战性的基准测试上展示出了优越的性
PDF2 years ago
ECCV使用特权模态进行行为检测的图形蒸馏
本研究提出一种称为图蒸馏的方法，该方法在多模态视频中处理行动检测，其中仅有有限的训练数据和部分观察到的模态可用，并通过在源域中的大规模多模态数据集中使用丰富的特权信息来提高目标域的学习效果，从而克服了训练和测试之间的模态差异，并在 NTU
PDF7 years ago