多模态癌症生存预测的原型信息瓶颈化与解缚
利用多模态数据，在医学诊断和预测任务中有效利用各种图像、实验室测试和临床信息的人工智能技术正在发展。本研究通过研究现有方法对数据冗余和噪声的鲁棒性，提出了一种广义的动态多模态信息瓶颈框架，用于获得稳健的融合特征表示。通过大量实验证明，我们的方法超越了现有技术，在存在大规模噪声通道时仍然具有优越性能。
Nov, 2023
提出了 Deep Supervised Information Bottleneck Hashing (DSIBH) 方法来加强哈希码的可区分性，减少了冗余信息，从而促进交叉模态医学数据检索的高精度。
May, 2022
本研究提出一种新的多模态分割框架，使用特征解缠来将多模态数据分解为特定于每种模态的出现代码和吸收多模态信息的模态不变内容代码，从而通过在不同区域门控不同模态的贡献来融合来自每种模态的解缠内容代码，在各个模态数据缺失的情况下获得了优异的鲁棒性，尤其是在 BRATS 挑战数据集的脑肿瘤分割任务中表现出了优秀的性能。
Feb, 2020
通过多模态信息瓶颈（M2IB）方法，本文提出了一种改进视觉 - 语言预训练模型的可解释性的方法，学习将相关视觉和文本特征保留并压缩无关信息的潜在表示。在安全关键领域如医疗保健中应用 M2IB，展示了其在视觉 - 语言预训练模型的归因分析上提高了归因精确度和可解释性的效果。与常用的单模态归因方法不同，M2IB 不需要基准标签，因此可以在存在多模态但无基准数据的情况下审查视觉 - 语言预训练模型的表示效果。以 CLIP 为例，本文证明了 M2IB 归因的有效性，定性和定量地显示其在梯度、扰动和注意力等归因方法上的优越性。
Dec, 2023
基于多模态学习的鉴别性淋巴结转移诊断模型，在临床医学实践中，通过双向蒸馏框架获得全面的多模态知识和稳健的 WSI 特征，有效地处理多模态数据和丢失模态，提高早期乳腺癌患者治疗决策的准确性。
Jan, 2024
整合多模态存活方法、千亿像素组织学全幻灯片图像和转录组学，通过凝聚形态学原型和生物途径原型对 WSI 和转录组简化，再利用聚合网络（Transformer 或最优运输交叉对齐）处理得到的多模态令牌，能在较小且固定的令牌数量下实现高性能预测肿瘤患者预后、分层，同时实现较少的计算量并具备新的可解释性分析。
Jun, 2024
本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。
May, 2023
通过拟合互信息的规范化核格拉姆矩阵，我们提出了一种新的可微信息瓶颈方法 (DIB)，通过确定性和解析的方式有效地进行多视角聚类，实现了输入变量从不同视角的确定性压缩。
Mar, 2024
本论文提出了一种细粒度的视频多模态融合去噪模型（DBF），它使用了瓶颈机制来过滤噪声和冗余信息，并采用互信息最大化模块来调节过滤器以保留不同模态中的关键信息。实验表明，我们的 DBF 模型在多个基准测试中均取得了显着的改进效果，涵盖了多模态情感分析和多模态摘要等任务，证明了该模型可以有效地从嘈杂和冗余的视频，音频和文本输入中捕捉到显著特征。
May, 2023