为了确保生产质量和效率，文章提出了一种将细胞电压信号和红外图像信息作为输入的端到端网络 ——Frequency-masked Multimodal Autoencoder（FM-AE）。通过自动编码将这两种特征融合在一起，并通过级联检测器预测锌电解槽板的不良接触状态。实验结果表明，该方法在保持高准确性（86.2%）的同时具有良好的鲁棒性和推广能力，有效地检测锌电解槽板的不良接触状态，并为生产实践提供了有力支持。

Jan, 2024

为了增强合成异常样本的准确性，研究提出了 AnomalyXFusion 框架，该框架利用多模态信息提高异常样本的质量，包括图像、文本和掩码特征，并通过聚合和整合各种模态特征到统一的嵌入空间以及利用自适应调整来进行受控生成。

Apr, 2024

这篇论文探讨了工业多模态异常检测任务，利用点云和 RGB 图像来定位异常。我们介绍了一种新颖且快速的框架，它学习将一个模态中的特征映射到另一个模态的正常样本上。在测试时，通过定位观察到的特征和映射特征之间的不一致性来检测异常。大量实验证明，我们的方法在 MVTec 3D-AD 数据集的标准和少样本设置中实现了最先进的检测和分割性能，同时实现了更快的推理速度和更低的内存占用，优于先前的多模态异常检测方法。此外，我们提出一种层裁剪技术，在性能上略有损失的同时提高了内存和时间效率。

Dec, 2023

在大数据时代，将多样化的数据模态融合在一起对于像医疗保健等复杂领域来说是一项巨大的挑战。本文介绍了一种新的多模态数据融合数据挖掘过程模型，将嵌入和跨行业标准数据挖掘流程与现有的数据融合信息团组合模型相结合。我们的模型旨在降低计算成本、复杂性和偏差，同时提高效率和可靠性。我们还提出了一种名为 “分离的密集融合” 的新型嵌入融合方法，旨在优化互信息和促进稠密的跨模态特征交互，从而最小化冗余信息。我们通过三个案例展示了该模型的有效性：使用视网膜图像和患者元数据预测糖尿病性视网膜病变、使用卫星图像、互联网和人口普查数据预测家庭暴力，以及从放射影像和临床笔记中识别临床和人口统计特征。该模型在糖尿病性视网膜病变预测中的宏 F1 分数为 0.92，在家庭暴力预测中的 R 方为 0.854，sMAPE 为 24.868，在放射学分析中的宏 AUC 分别为 0.92 和 0.99，这些结果凸显了数据挖掘模型在多模态数据处理中的潜力，推动其在不同的资源受限环境中的应用。

Apr, 2024

提出了 CMDIAD 框架用于多模态工业异常检测，并通过生成跨模态幻觉来解决缺失模态的问题，探究了以点云或 RGB 图像作为主要推理模态时的性能改善原因，为制造场景中的高效异常检测奠定了基础。

May, 2024

本文提出了一种基于 Transformer 的框架，名为 Flexible Modal Vision Transformer (FM-ViT)，用于面部防欺骗，以灵活地针对任何单模态攻击情景和可用的多模态数据。实验结果表明，单个基于 FM-ViT 的模型不仅可以灵活评估不同的模态样本，而且在较小的 FLOPs 和模型参数的情况下，也可以超越现有的单模态框架，并与多模态框架的性能相当。

May, 2023

利用多传感器融合和对比学习范式，提出了一种去噪多模态自编码器训练策略，用于提高复杂工业装备的机器健康监测效果，并可在传感器故障发生时实现更稳健的多模态故障诊断系统，以及构建成本更低、不损失性能的实际用途的条件监测系统。

Nov, 2023

我们提出了一种名为 CAMF 的新型 Cross-Attentive Multi-modal Fusion 框架，能够捕捉 fMRI 和 sMRI 之间的内部和互间关系，优化多模态数据表示。通过在两个广泛的多模态脑成像数据集上的评估，CAMF 明显提高了分类准确性，并且可以解释与精神分裂症相关的重要功能网络和脑区域的生物标记物，为精神分裂症的诊断和病理内表型提供新的见解。

Mar, 2024

本文介绍了一种基于深度学习的故障检测方法，利用高精度的数据采集设备收集数据来训练模型，并使用长短时记忆网络和一维卷积神经网络来提取时序特征和频率信息进行故障预测，在 Kaggle 平台上的结果表明该方法具有更好的性能和解释性。

Sep, 2020

利用跨模态语义指导多模态特征的融合和解码，提出了一种新的方法以控制相对熵，具有共享和特定的表示法以及跨层自我监督，并基于质量适应模态贡献的 all-round attentive fusion 和 course-to-fine decoder 两部分解码器，提高特征可辨别性和系统的表现。

May, 2023