MM-Lego：具有最小微调的模块化生物医学多模态模型

May, 2024

MM-Lego：具有最小微调的模块化生物医学多模态模型

MM-Lego: Modular Biomedical Multimodal Models with Minimal Fine-Tuning

Konstantin Hemker, Nikola Simidjievski, Mateja Jamnik

TL;DR本研究提出了多模态 Lego（MM-Lego）框架，它是一个模块化和通用的融合和模型合并方法，可以将任何一组编码器转化为具有竞争力的多模态模型，不需要或仅需要进行最小的微调。通过引入对单模态编码器的包装，MM-Lego 强制实施模态之间的轻量级维度假设，并通过在频域学习特征来协调它们的表示，以使模型合并时干扰最小。实验证明，MM-Lego 可以作为模型合并的方法，达到了与端到端融合模型相媲美的性能，而无需进行任何微调；它可以在任何单模态编码器上运行；并且通过最小的微调，可以在六个基准多模态生物医学任务上实现最先进的结果。

Abstract

Learning holistic computational representations in physical, chemical or biological systems requires the ability to process information from different distributions and modalities within the same model. Thus, the demand for multimodal machine learning models has sharply risen for modal

multimodal machine learning models fusion and alignment approaches mm-lego unimodal encoders multimodal biomedical tasks

发现论文，激发创造

LEGO：语言增强多模态基准模型

我们提出了一种名为 LEGO 的语言增强多模型定位模型，相较于现有的多模型模型，它具备较好识别和定位图像特定区域以及视频特定时刻的能力，通过多样化的数据集构建流程进行模型训练。

Jan, 2024

工程设计中的多模态机器学习技术：回顾与未来方向

该综述探讨了多模式机器学习在工程设计任务中的应用，介绍了用作设计表示及涉及到多模式学习的不同的数据模式，简要说明了五种多模式数据的表示和融合方法、以及其在设计知识检索、设计评估和设计综合中可能的应用，同时强调在工程设计中使用多模式机器学习时可能面临的挑战和未来方向。

Feb, 2023

多模式生成嵌入模型

多模态生成嵌入模型能够同时处理多模态任务，在效率上具有竞争力，具备良好的图像标题生成和文本图像检索能力。

May, 2024

基于个体特定数据的健康多模态 LLM

该研究通过开发一种名为 HeLM 的框架，使多模态大型语言模型 (LLMs) 能够使用高维临床模态来估计潜在疾病风险，并且在使用英国生物银行的数据进行验证时，HeLM 能够有效地利用人口统计学、临床特征和高维时间序列数据来估计疾病风险。

Jul, 2023

OneLLM：一种将所有模态与语言对齐的框架

通过统一的多模态编码器和渐进式多模态对齐管道，OneLLM 将八种模态与语言对齐，以充分发挥其在指令跟随中的潜力；在全面的多模态指令数据集上进行评估，并在多模态字幕生成、问答和推理等任务中展现出优异性能。

Dec, 2023

从高效多模型到世界模型：一项调研

多模态大模型（MLMs）是一个重要的研究重点，通过将强大的大型语言模型与多模态学习相结合，对不同的数据模态执行复杂任务。本文综述了 MLMs 的最新发展和挑战，强调它们在实现人工通用智能和作为世界模型路径中的潜力。我们概述了关键技术，如多模态思维链（M-COT），多模态指导调优（M-IT）和多模态上下文学习（M-ICL）。此外，我们讨论了多模态模型的基本和具体技术，突出了它们的应用、输入 / 输出模态和设计特征。尽管取得了显著进展，但统一的多模态模型的发展仍然困难。我们讨论了整合 3D 生成和具体模拟能力以增强世界模拟能力，并提出整合外部规则系统以改进推理和决策的方法。最后，我们概述了未来的研究方向，以应对这些挑战并推进该领域。

Jun, 2024

多模态图学习的生成任务

多模态图学习 (MMGL) 是一个通用、系统化的框架，用于捕捉具有关系结构的多模态邻居的信息并且在预训练的语言模型中增强其文本生成能力。

Oct, 2023

复杂脑部疾病预测的不完整多模态学习

本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。

May, 2023

简化多模态：使用通用领域大型语言模型在放射学中解决多模态挑战的单模态方法

在本文中，我们介绍了 MID-M 这一创新框架，利用通用领域的大规模语言模型（LLM）的上下文学习能力，通过图像描述来处理多模态数据，其在性能上与任务特定的精调 LLMs 和其他通用领域的 LLMs 相当或更为出色，无需广泛域特定训练或多模态数据的预训练，参数更少，突出了利用通用领域 LLMs 进行领域特定任务的潜力，并为传统 LMM 发展提供了可持续和经济高效的替代方案。此外，MID-M 对于数据质量问题的稳健性证明了其在实际医学领域应用中的实用性。

Apr, 2024

使用大规模预训练模型提升辨别性多模态学习

通过冻结单模态微调模型的权重、添加额外的可训练分解矩阵以及进行多模态联合训练，我们的方法 MMLoRA 增强了模态之间的适应性并提升了整体性能。

Oct, 2023