Mar, 2024

面向结构化和非结构化数据的模块化端到端多模态学习方法

PDF
TL;DR多模态学习是一个快速发展的研究领域，它在人工智能中的多任务处理和生成建模方面产生了革命性的影响。本文提出了一种名为 MAGNUM 的模块化端到端多模态学习方法，能够原生地处理结构化和非结构化数据，且灵活性足够高以适应任何专门的单模态模块来从所有可用的模态中提取、压缩和融合信息。
发现论文，激发创造
  • MM-Lego：具有最小微调的模块化生物医学多模态模型

    本研究提出了多模态 Lego（MM-Lego）框架，它是一个模块化和通用的融合和模型合并方法，可以将任何一组编码器转化为具有竞争力的多模态模型，不需要或仅需要进行最小的微调。通过引入对单模态编码器的包装，MM-Lego 强制实施模态之间的轻量级维度假设，并通过在频域学习特征来协调它们的表示，以使模型合并时干扰最小。实验证明，MM-Lego 可以作为模型合并的方法，达到了与端到端融合模型相媲美的性能，而无需进行任何微调；它可以在任何单模态编码器上运行；并且通过最小的微调，可以在六个基准多模态生物医学任务上实现最先进的结果。

    May, 2024

  • 多模态数据的重要性：基于结构化和非结构化电子健康记录的语言模型预训练

    本文提出了一种名为 MedM-PLM 的医学多模态预训练语言模型，能够增强电子健康记录的表示能力，探索结构化和非结构化数据之间的相互作用，用于药物推荐、30 天再入院预测和 ICD 编码等三项临床任务，显示出比其他现有方法更好的性能和更全面的解释能力。

    Jan, 2022

  • 多模态图学习的生成任务

    多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

    Oct, 2023

  • 多模态、多任务、可解释的模块化网络

    MultiModN 通过融合多种数据类型的潜在表示，提供了对多个预测任务的实时反馈，解释性好且对缺失数据具有鲁棒性，同时不影响性能。

    Sep, 2023

  • S-Omninet: 结构化数据增强的通用多模态学习架构

    本文扩展和改进了 Omninet 体系结构，引入了交叉缓存注意力、整合视觉输入的补丁嵌入和支持结构化数据，提出了增强型结构化数据 Omninet (S-Omninet) 模型，能够通过交叉缓存注意力和补丁嵌入在各维度的结构化数据和非结构化数据之间实现有效的相互作用。作者在多模态数据集上评估了所提出的模型，证明相比基准 Omninet 有了显著的性能提升。

    Jul, 2023

  • 多模式机器遗忘

    Machine Unlearning（机器遗忘）是从已经训练好的模型中删除特定的训练数据样本及其相应的影响，其具有重要的实际价值。本文提出了 MMUL，一种专门设计用于多模态数据和模型的机器遗忘方法，通过关注三个关键性质来制定多模态遗忘任务：（a）解耦模态，（b）保留单模态知识，（c）保留多模态知识。实验证明，MMUL 在区分已删除和剩余数据方面优于现有的基线方法，并且在遗忘后能够大部分保持原始模型的预先存在的知识。

    Nov, 2023

  • 多模态深度学习

    这篇论文概述了多模态方法中的最新技术和框架，并重点介绍了 Deep Learning、模型框架、特征表示学习以及生成艺术等关键点。

    Jan, 2023

  • 复杂脑部疾病预测的不完整多模态学习

    本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

    May, 2023

  • MAGID: 生成合成多模态数据集的自动化流程

    我们引入了 MAGID，一个以多模式互动系统为基础的创新框架，通过高质量且多样化的图像增强了仅有文本的对话，通过扩充图像数据库取得显著的人类评估改进。

    Mar, 2024

  • 多模态大型语言模型综述

    本文探究了多模态语言模型的研究，集成了多种数据类型，如图像、文本、语言、音频和其他异构数据。通过合并各种模态，多模态模型能够更全面地理解和处理多样化的数据，本文旨在促进对多模态模型及其在各领域中的潜力的更深入理解。

    Nov, 2023