modality bias | BriefGPT - AI 论文速递

关键词modality bias

搜索结果 - 7

CVPR关于辍学引发的韧性研究，对于音频视觉语音识别中缺失视频帧的影响
研究了音频 - 视觉语音识别系统对缺失视频帧的敏感性问题，表明在应用 dropout 技术提高对缺失帧的鲁棒性的同时，也导致对完整数据输入性能的损失。通过揭示由于 dropout 引起的对音频存在过多的模态偏差，探究了这一对立现象，同时提出
PDF4 months ago
CVPR因果模态复用器：一种用于无偏多光谱行人检测的新型框架
为了解决 RGBT 多光谱行人检测中模态偏差问题，文中提出了一种新的因果模式复用器（Causal Mode Multiplexer）框架，并构建了新的 ROTX-MP 数据集用于评估模态偏差。通过大量实验证明，所提出的 CMM 框架在现有数
PDF4 months ago
提升空间转录组学数据的潜在能力
Spatial transcriptomics 技术在组织中提供了多模态的转录组、空间和形态学数据，为了解转录组以外的组织生物学提供了机会。然而，我们发现 ST 数据种类中存在模态偏差现象，即不同模态对标签的贡献不一致导致分析方法倾向于保留
PDF6 months ago
FULLER: 统一的多模态多任务三维感知通过多级梯度校准
多模态融合与多任务学习在三维自动驾驶场景中变得流行，然而，将现有框架扩展到多模态多任务学习领域仍然是无效的甚至有害的，由于恶名昭彰的模态偏差和任务冲突。本研究提出了一个新颖而简单的多层梯度校准学习框架，通过任务和模态之间的优化在任务和模态之
PDFa year ago
ICCV视觉实体的可迁移解码用于零样本图像字幕生成
我们提出了 ViECap，一种可转移的解码模型，利用实体感知解码生成见过和没见过的场景中的描述。ViECap 通过实体感知的硬提示将 LLMs 的注意力引导到图像中存在的视觉实体，实现了跨多样场景的连贯字幕生成。在通过实体感知的硬提示的情况
PDFa year ago
SIGIR视频检索的模态平衡嵌入
介绍了将 MBVR 应用于大型视频平台的实践，该方法采用人工生成的模态混洗样本和基于视觉相关性的动态边距（DM），旨在鼓励视频编码器对每种模态进行平衡关注，通过实验证明了该方法在解决模态偏见问题方面的有效性和高效性。
PDF2 years ago
MM关于模态偏差的识别和减少
本文研究了在多模态分类系统中影响模型性能的模态偏差问题，通过构建两个基于 Out-of-Distribution 协议的数据集和提出一种自适应的 plug-and-play 损失函数方法，在彩色数字识别、视频动作识别和视觉问答三个任务上实现
PDF2 years ago