火花塞故障诊断的对比多模态表示学习
利用多模态成像、深度学习和对比学习方法，从多模态 MRI 数据中学习鲁棒的潜在特征表示，将异构特征投影到共享空间，整合不同模态和类似主体间的互补和类似信息，进而提高了异常神经发育的预测能力和计算机辅助诊断的功效。
Dec, 2023
通过零样本学习方法，本文提出了一种新的故障检测和状态监测方法，可以在没有故障样本的情况下，对工业系统进行可靠的故障检测与健康状况评估。通过使用变分自编码器捕捉先前观察到和未知条件的概率分布，在隐空间比较每个样本与正常操作的参考分布的偏差，建立健康指数的阈值，能够高准确度地检测严重的未知故障，从而提升工业领域的故障检测能力，增强安全性和优化维护实践。
Apr, 2024
本文探索了应用对比学习改进模态表征的方法，提出了三阶段的多视角对比学习框架，通过监督和自监督对比学习来改进单模态和融合的多模态表征，并成功提高了多模态情感分析任务的效果。
Oct, 2022
本文提出了一种名为 MultiModal Contrastive Learning (MMCL) 的新型框架，用于捕捉多模态表示中的内部和外部动态。我们采用对比学习技术，包括单模态对比编码和伪孪生网络，来过滤内嵌噪声和捕获跨模态动态。此外，我们设计了两种对比学习任务，实例和基于情感的对比学习，以促进预测过程并学习与情感相关的更多交互信息。在两个公共数据集上进行的广泛实验表明，我们的方法超过了现有的最先进方法。
Oct, 2022
将电子健康档案（EHR）和医学影像相结合对临床医生在诊断和预测预后中至关重要。作者提出了一种名为 DrFuse 的方法，通过分离跨模态的共享特征和每个模态内的独特特征来解决缺失模态和模态不一致的问题，在真实世界的大规模数据集上验证了该方法的有效性并超越了现有模型。
Mar, 2024
通过引入一种名为监督角度对比学习的框架，以增强多模态表示的区分性和泛化性，克服了融合向量中的模态偏差，实验结果和对两个广泛使用数据集的可视化结果表明了我们的方法的有效性。
Dec, 2023
本文提出了一种新的不完全多模态数据整合方法，利用变压器和生成对抗网络，利用辅助模态数据来提高单模态模型的性能，并将其应用于预测阿尔茨海默病的认知退化和疾病结果。
May, 2023
本文提出了一种基于 PVAE 的多模态生成模型，可将共享因素和模态相关因素编码为不同的潜变量，用于生成符合不同语义和风格要求的条件数据，并利用发现的语义单元在两个音频 / 图像数据集上完成了定量和定性的评估。
May, 2018
无监督的健康状况监测在复杂工业系统的故障检测中起着重要作用。本研究通过对自编码器和输入 - 输出模型进行综合比较，探索了这两种基于残差的方法在健康指标构建、故障检测和健康指标解释方面的性能。结果显示，输入 - 输出模型在潜在故障类型和可能故障部件的解释方面具有更好的可解释性。
Sep, 2023