multi-modal learning | BriefGPT

关键词multi-modal learning

搜索结果 - 80

基于知识驱动的子空间融合和梯度协调的多模态学习
通过分解组织学图像和基因组学的特征子空间，反映不同的肿瘤和微环境特征，我们提出了一种生物解释性和稳健的多模态学习框架，以高效地整合组织学图像和基因组学，从而解决了肿瘤生态系统中肿瘤和微环境共同增加恶性的内在复杂性问题。
PDF14 days ago
学习动作先验的视频生成
在考虑了相机运动或动作作为观察图像状态的一部分，并将图像和动作建模在多模态学习框架内的基础上，我们提出了三个模型：VG-LeAP 使用变分推断学习图像 - 动作潜在先验并将图像 - 动作对作为单一潜在随机过程生成的扩展状态；Causal-L
PDF14 days ago
推进生物医学中高分辨率视觉语言模型
我们的研究在生物医学领域提出了一个新的指导数据集，利用医学图像文本对，提出了一种新的图像编码策略，通过使用分层表示改善了精细的生物医学视觉理解，并且开发了 LLama3-Med 模型，在生物医学视觉问答基准测试中实现了最先进的零 - sho
PDF22 days ago
mTREE: 多层次文本引导的端到端学习用于全尺寸图像分析
该研究介绍了一种称为 mTREE 的多层次文本引导端到端学习方法，它有效地捕获了多尺度病理组织学图像表示，并将文本信息与图像综合表示相结合，展示了其在分类和生存预测等任务中相对于传统方法的优越性。
PDFa month ago
OmniBind: 教授建立不等比例模态互动以实现全方位绑定
通过提出 OmniBind 框架，该研究解决了多模态学习中训练和推理阶段模态组合不匹配和尺度不均衡的问题，通过跨模态对齐蒸馏和自适应融合模块，实现了任意模态组合和统一表示空间的学习，具有较高的性能提升。
PDFa month ago
AudioSetMix: 用 LLM 辅助增强音频 - 语言数据集
我们通过增加自然语言标签和相应的音频信号处理操作，使用大型语言模型提供了一个高质量的训练数据集，该数据集在文本和音频相关模型的基准测试中提供了多样化且更好对齐的示例，从而改善了模型的性能。
PDF2 months ago
增强多模态学习：元学习的跨模态知识蒸馏处理缺失模态
我们提出了一种称为元学习的跨模态知识蒸馏的新方法，可以使多模态模型在缺少重要模态的情况下仍具有高准确性。该方法通过自适应估计每种模态的重要性权重，并利用跨模态知识蒸馏将高重要性权重的模态的知识转移到低重要性权重的模态上，从而产生高准确性模型
PDF2 months ago
ICLRCromSS：面向遥感图像分割的带有噪声标签的跨模态预训练
我们研究了在多模态学习框架中，利用噪声标签 y 对语义分割模型进行预训练的潜力，针对地理空间应用。具体而言，我们提出了一种新颖的交叉模态样本选择方法（CromSS），利用给定地理空间场景的多个传感器 / 模态 d 模拟的像素 x 和类别 c
PDF2 months ago
异构混合大规模 MIMO 接收机中被动 DOA 估计器的多模态深度学习协同学习框架
在本研究中，我们提出了一种新型的异构混合 MIMO 接收器结构（$ m {H}^2$AD-FD），并开发了相应的多模态学习框架，旨在提高到达角（DOA）估计的准确性并降低聚类复杂度。实验结果表明，我们提出的四种方法在信噪比（SNR）> 0
PDF2 months ago
自适应掩码子网络学习多模态优化的均衡技巧
通过引入互信息率确定重要性，并采用非均匀自适应采样和前景子网络选择进行参数更新，从而平衡多模态学习，该研究提出了一种新的重点抽样的元素级联合优化方法，成为自适应掩码子网络考虑模态重要性 (AMSS)，并通过收敛分析证明了 AMSS 策略的可
PDF3 months ago
SurvMamba: 多粒度多模态相互作用的状态空间模型用于生存预测
通过多模态学习，结合病理图像和基因组数据，可以显著提高生存预测的准确性。本研究提出了一种多粒度多模态交互的结构化状态空间模型（SurvMamba），用于生存预测。通过 Hierarchical Interaction Mamba（HIM）模
PDF3 months ago
多模态神经场景表示的探索及其在热成像上的应用
该论文通过综合评估神经场表示（如 NeRFs）在多模态学习中的作用，提出了四种不同的策略来将热成像作为第二模态融入 NeRFs，并发现添加第二分支对于热成像的新视角合成效果最佳，同时在 RGB 方面也产生了令人信服的结果，该分析结果还推广到
PDF4 months ago
功能图卷积网络：一个统一的多任务和多模态学习框架以促进健康和社会护理洞察
该论文介绍了一种新颖的功能图卷积网络 (funGCN)，它结合了功能数据分析和图卷积网络，以解决数字健康和纵向研究中的多任务和多模式学习的复杂性问题。通过模拟实验和真实数据应用的验证，证实了 funGCN 的有效性。
PDF4 months ago
MolBind：语言、分子和蛋白质的多模态对齐
生物学和化学领域的最新进展已经利用多模态学习，将分子及其自然语言描述整合到药物发现中。然而，当前的预训练框架局限于两种模态，并且设计一个能够处理不同模态（如自然语言、2D 分子图、3D 分子构象和 3D 蛋白质）的统一网络仍具有挑战性。在这
PDF4 months ago
CVPR抑制和平衡：通往广义多模式人脸反欺诈
在人脸识别系统中，针对演示性攻击，多模态学习方法面临模态不可靠性和模态不平衡性的挑战，本研究提出了 Uncertainty-Guided Cross-Adapter (U-Adapter) 和 Rebalanced Modality Gra
PDF4 months ago
CVPRTAMM：三适配器多模态学习用于 3D 形状理解
通过 TriAdapter Multi-Modal Learning（TAMM），在多模态预训练中引入了三个协同适配器，以更有效地利用 2D 图像和语言模态，缩小 3D 形状数据集的规模限制，提高对 3D 形状的理解和表示学习。
PDF4 months ago
文本到图像模型在视觉模态缺失的多模态学习中的应用
通过用生成式变压器填补缺失的视觉数据，我们提出了一个简单但有效的多模态学习框架 GTI-MM，以增强数据效率和模型的鲁棒性，尤其是对于缺少视觉模态的情况。我们在多个多模态数据集上进行了全面的分析，包括模型的训练，结果显示合成图像有助于训练数
PDF5 months ago
MoE-LLaVA：大规模视觉语言模型的专家混合
本文介绍了一种针对大型视觉语言模型 (LVLMs) 的训练策略 MoE-tuning，通过构建一个具有巨大数量参数但恒定计算成本的稀疏模型，有效解决多模态学习和模型稀疏性带来的性能退化问题。此外，本文还提出了基于 MoE 的稀疏 LVLM
PDF5 months ago
MRI 脑肿瘤分级的双重注意力型、跨模态引导多模态学习
通过 MRI 多模态学习和跨模态指导，提出了一种用于 MRI 脑肿瘤分级的新方法，以准确识别肿瘤类型和等级，并选择精确的治疗计划。
PDF6 months ago
多模态联邦学习在非 IID 数据集上用于癌症分期与不平衡特征的研究
使用机器学习 (Machine Learning, ML) 和联邦学习 (Federated Learning, FL) 框架对医学影像进行癌症分期已引起了广泛的关注，并可以克服患者数据曝露的隐私问题。本文介绍了一种新颖的 FL 架构，可适
PDF6 months ago