本研究分析了制造测试台的四个传感器数据集，评估了若干传统和基于机器学习的时间序列预测模型的性能，并通过从高数据速率传感器中执行转移学习来对缺乏数据的传感器进行缺陷类型分类，因此为实现预测维护铺平了道路。

Jun, 2022

利用多传感器融合和对比学习范式，提出了一种去噪多模态自编码器训练策略，用于提高复杂工业装备的机器健康监测效果，并可在传感器故障发生时实现更稳健的多模态故障诊断系统，以及构建成本更低、不损失性能的实际用途的条件监测系统。

Nov, 2023

使用机器学习的视觉和其他传感器技术在增材制造过程中进行现场监测，收集大量数据集，用于确定制造输出的质量和检测缺陷。通过系统回顾，发现在增材制造领域存在影响质量评估和缺陷检测的开放图像数据集的可用性问题。

Jan, 2024

本文提出了一种跨模态Transformer（称为FmFormer），旨在通过探索视觉特征（视频）和过程变量（电流）之间的相关性，促进熔镁冶炼过程中的异常检测。该方法引入了一种新颖的标记化范式，以通过多尺度方式有效地弥合三维视频模态和一维电流模态之间的实质性维度差距，实现逐层的像素级异常检测。随后，FmFormer利用自注意力机制学习每个模态内部特征，并利用双向交叉注意力机制捕捉跨模态的相关性。通过使用跨模态学习，提出的FmFormer在检测异常方面取得了最先进的性能，特别是在电流波动和大量雾气遮挡造成的极端干扰下。所提出的方法和基准还可能适用于其他工业应用，并通过该链接发布了基准数据。

Jun, 2024

利用VIRL先行训练的预训练模型在有限数据集上展现了改进的推广能力和更强的性能，在大型数据集上表现优良。

Jun, 2024

本研究提出了一种基于Transformer的新型预测模型，利用统计特征嵌入和窗口位置编码。该模型在故障检测和虚拟计量两个问题上的表现优于基准模型，通过有效利用参数，提升了对传感器数据的处理性能，显示出了在各种制造业中提高过程管理和产量的潜力。

Jul, 2024

本文研究了激光增材制造过程中的原位监测问题，提出了一种跨模态知识迁移（CMKT）方法，以提高监测准确性并降低硬件与计算成本。通过建立语义对齐和映射方法，本研究在不使用音频传感器的情况下，实现98.4%的准确率，展现了CMKT在多模态监测中的潜力和价值。

Aug, 2024

本文提出了JEMA（多模态对齐的联合嵌入），这是一个针对激光金属沉积（LMD）的新型共同学习框架，旨在解决工业应用中数据有限及AI应用模糊的问题。JEMA通过利用多视角图像和过程参数等多模态数据，采用监督对比损失函数实现稳健学习和过程监控，显著提高了模型的可扩展性和性能，促进了LMD领域的多样化下游任务。

Oct, 2024

本研究解决了传统目标检测方法在制造部件识别中的局限性，提出了一种结合RGB相机和3D点云传感器的多传感器系统，以提高工业制造系统的可靠性。采用改进的Faster R-CNN方法，该多模态检测模型在目标检测指标上显著优于仅依赖于RGB或深度数据的基线，提升了系统在智能制造中的应用潜力。

Nov, 2024

本研究针对工业异常检测（IAD）中存在的挑战，提出了一种新颖的方法，即通过对比跨模态训练的视觉-语言异常检测（CLAD）。该方法利用大型视觉语言模型改善异常检测和定位的性能，并通过实验证明在图像级和像素级异常检测方面优于现有方法，具有重要的现实应用潜力。

Dec, 2024