本文提出了一种跨模态 Transformer（称为 FmFormer），旨在通过探索视觉特征（视频）和过程变量（电流）之间的相关性，促进熔镁冶炼过程中的异常检测。该方法引入了一种新颖的标记化范式，以通过多尺度方式有效地弥合三维视频模态和一维电流模态之间的实质性维度差距，实现逐层的像素级异常检测。随后，FmFormer 利用自注意力机制学习每个模态内部特征，并利用双向交叉注意力机制捕捉跨模态的相关性。通过使用跨模态学习，提出的 FmFormer 在检测异常方面取得了最先进的性能，特别是在电流波动和大量雾气遮挡造成的极端干扰下。所提出的方法和基准还可能适用于其他工业应用，并通过该链接发布了基准数据。

Jun, 2024

通过使用基于心电图形状先验知识的重建头（即 FMM-Head）替代自编码器（AE）的解码部分来提高异常检测能力和解释性特征的心电图异常检测模型。

Oct, 2023

本研究提出使用吸收材料记录辐射电磁场并通过条件编码器 - 解码器 AI 评估生成热图像序列的新方法，进行天线阵列的故障检测。研究表明，在低级图案下，基于轮廓的异常检测可以将重构误差矩阵映射到异常评分，以提高分类 F-M 度量达 46％。

Nov, 2021

该研究提出了一种基于自编码器的方法来检测自动化纤维铺放中的制造缺陷，并通过对深度图的处理能够确定缺陷位置并达到足够的二元分类准确性，克服了数据匮乏问题。

Jul, 2023

利用多传感器融合和对比学习范式，提出了一种去噪多模态自编码器训练策略，用于提高复杂工业装备的机器健康监测效果，并可在传感器故障发生时实现更稳健的多模态故障诊断系统，以及构建成本更低、不损失性能的实际用途的条件监测系统。

Nov, 2023

本文利用频率调制连续波（FMCW）雷达作为一种非破坏性感知模式来增强制造质量保障，并开发了一种新的异常检测管道，它能在去除正常数据先验信息后专注于异常特征的属性

Jun, 2023

本文提出了一种用于增强 VQ-VAE 结构的频率补全模块 (Frequency Complement Module, FCM)，并且引入了一种动态频谱损失 (Dynamic Spectrum Loss, DSL)，用于引导 FCM 动态地平衡频率以获得最佳重建。FA-VAE 进一步扩展到了文本到图像合成任务中，并提出了交叉注意力自回归变换器 (Cross-attention Autoregressive Transformer, CAT) 以获得更精确的文本语义属性。通过在几个基准数据集上进行广泛的重建实验，并与其它最先进的方法进行比较，结果表明，所提出的 FA-VAE 能够更忠实地恢复细节。CAT 在图像文本语义对齐方面也显示出了更好的生成质量。

May, 2023

使用 X 射线单投影和多投影（CT）图像进行自动损伤和缺陷检测的基于数据驱动建模的方法和挑战，主要包括数据和特征的变异性，数据特征标注（用于监督机器学习），以及缺乏地面实况数据等。

Nov, 2023

通过引入离散小波变换在多个频率子带中捕捉丰富的人脸伪造特征，并结合图像和频率特征的互补视角，提出了一种统一的频率辅助转换器框架（UFAFormer）来解决多模态媒体篡改问题。实验证明，与之前的方法相比，我们的框架在 DGM^4 数据集上表现出优越性能，并在该领域树立了新的基准。

Sep, 2023

本研究提出一种基于频率域的 MASK 图像建模方法，称之为 GE2-AE，用于视觉预训练，通过该方法可以学习到更加健壮的非标记视觉表示。

Apr, 2022