Jun, 2024
融合镁冶炼过程中的异常检测的跨模态学习:方法论和基准
Cross-Modal Learning for Anomaly Detection in Fused Magnesium Smelting
Process: Methodology and Benchmark
TL;DR本文提出了一种跨模态Transformer(称为FmFormer),旨在通过探索视觉特征(视频)和过程变量(电流)之间的相关性,促进熔镁冶炼过程中的异常检测。该方法引入了一种新颖的标记化范式,以通过多尺度方式有效地弥合三维视频模态和一维电流模态之间的实质性维度差距,实现逐层的像素级异常检测。随后,FmFormer利用自注意力机制学习每个模态内部特征,并利用双向交叉注意力机制捕捉跨模态的相关性。通过使用跨模态学习,提出的FmFormer在检测异常方面取得了最先进的性能,特别是在电流波动和大量雾气遮挡造成的极端干扰下。所提出的方法和基准还可能适用于其他工业应用,并通过该链接发布了基准数据。