cross-modal interactions | BriefGPT

关键词cross-modal interactions

搜索结果 - 14

语言导向的医学图像分割的跨模态条件重构
提出一种新的跨模态条件重构来从事以语言指导的医学图像分割，并通过实验证明了其在不同数据集上的优越性能
PDF3 months ago
大规模视觉语言模型的视域内学习
通过引入一种新颖的视觉上下文学习方法（VICL），包括视觉演示检索、目标导向图像摘要和目标导向演示组合，解决了大型视觉语言模型（LVLMs）中上下文学习的挑战，提高了效果，并且进一步调查了演示文本长度和位置对 LVLM 的影响，展示了 IC
PDF4 months ago
对大型多模态模型进行常见冲突的基准测试
填补大型多模型（LMMs）评估中的不足，通过研究其输出在常见破坏情况下的自一致性，调查文本、图像和语音之间的跨模态交互，创建了一个综合性基准 MMCbench，评估了 100 多个受欢迎的 LMMs（共 150 个模型检查点），此全面评估对
PDF5 months ago
AAAI利用大型语言模型的生成式多模态知识检索
我们提出了一种创新的端到端生成框架，用于多模态知识检索，通过利用大型语言模型 (LLMs) 作为虚拟知识库，使用对象感知的前缀调优技术来指导多粒度视觉学习，将多粒度视觉特征对齐到 LLM 的文本特征空间中，通过统一格式的指令数据构建模型训练
PDF6 months ago
基于深度学习的放射学报告生成研究的系统综述
深度学习在医学影像的报告生成方面的关键研究进展进行了综述，强调了基于任务特征的方法、视觉和文本信息的综合利用以及跨模态交互对于提高报告生成质量的重要性，并介绍了常用的基准数据集和评估指标，分析了不同方法的性能并展望了未来发展方向。
PDF7 months ago
交替单模态适应的多模态表示学习
MLA 是通过交替的单模态适应过程改变传统联合多模态学习过程，减少模态之间的干扰，并通过共享头部实现跨模态交互，从而优化性能，在推理阶段利用基于不确定性的模型融合机制集成多模态信息。经过在五个不同数据集上的广泛实验，证明了 MLA 相对于竞
PDF7 months ago
EMNLP基于关系时间图神经网络和辅助跨模态交互的对话理解
通过模态特异性的方式，CORECT 有效地捕捉了会话级的跨模态交互和话语级的时间依赖性，以提高情感识别的效果。
PDF8 months ago
迷失在翻译中：当 GPT-4V (ision) 无法与文字心有灵犀。VLLMs 及更多的视觉语言一致性分析
通过对多模态机制的详细分析，揭示了 GPT-4V 等模型执行视觉和语言任务的一致性与独立性，并引入了一种名为 “Vision Description Prompting” 的方法，有效提高了具有挑战性的视觉相关任务的性能。
PDF8 months ago
监督多模式学习中的单模式特征学习
通过提出一种针对多模态学习的目标后融合方法并使用 Uni-Modal Ensemble (UME) 和 Uni-Modal Teacher (UMT) 的策略来得出 Uni-Modal 特征和 paired 特征的分布，可以在各种多模态数据
PDFa year ago
MMMIntRec：一个新的多模态意图识别数据集
这篇论文介绍了一个新的数据集（MIntRec）来解决现有意图识别方法在实现多模态信息利用方面的限制。使用该数据集，通过提取每种模态的特征并采用三种强大的多模态融合方法，可以显著提高意图识别的效果。
PDF2 years ago
高效双层特征恢复多模态 Transformer 用于鲁棒性多模态情感分析
本文提出了一种名为 EMT-DLFR 的通用且统一的框架，以解决当前多模态数据建模过程中的两个主要挑战：一是无法进行未对齐的多模态数据中的跨模态交互，而是存在随机模态特征缺失问题，此框架令多模态交互更加高效且应对缺失数据具有更强的鲁棒性。
PDF2 years ago
EMNLP使用文本和图像进行兴趣点类型预测
本文提出一种方法，利用文本和图像的多模态信息进行 POI 类型（地点类型）预测，该方法从文本和图像中提取相关信息，有效捕捉文本和图像之间的交互，实现了 47.21 的宏 F1 表现，且在八个类别方面显著优于基于纯文本方法的 POI 类型预测
PDF3 years ago
MM视频片段检索的逐帧跨模态匹配
本文提出了一种基于交互建模的专注跨模态相关性匹配（ACRM）模型，用于预测时间边界，并通过内部帧进行模型训练以提高定位精度，通过在 TACoS 和 Charades-STA 数据集上进行的实验表明，ACRM 模型优于几种最先进的方法。
PDF4 years ago
EMNLP循环多阶融合的多模态语言分析
本研究提出了一种名为 RMFN 的循环多阶段融合网络，该网络以多元信号为输入，通过多个阶段递归地融合特定的信号子集，结合了循环神经网络以建模时间和模态内交互、建模跨模态交互。经实验证明，RMFN 在情感分析、情感识别和说话人特征识别等多模态
PDF6 years ago