在此工作中，我们提出了一种基于 Transformer 的框架（FaultFormer），用于分析振动信号以预测不同类型的轴承故障。通过使用数据增强和提取傅里叶模态的方法，我们训练了一个 Transformer 编码器，以实现最先进的准确度，并分析了注意机制和模型输出，以确认 Transformer 自动提取信号特征和学习全局和局部关系以进行分类的能力。最后，我们提出了两种预训练策略，为大型可推广 Transformer 的开发铺平了道路，使其能够适应生产现场的新数据、情况或机械设备。

Dec, 2023

预测振动板的频率响应，提出了一种新的频率查询运算模型，并在振动板基准测试中对其进行评估。

Oct, 2023

传统的卷积神经网络（CNN）在捕捉时间特征（即振动信号随时间的变化）方面存在局限性，为解决这个问题，本文引入了一种新颖的模型，即时间序列视觉变换器 (TSViT)，专门用于故障诊断。TSViT 模型一方面通过集成卷积层对振动信号进行分段并捕捉局部特征，另一方面采用变压器编码器来学习长时间序列的信息。在两个不同数据集上与其他方法进行的实验结果验证了 TSViT 的有效性和通用性，并对其超参数对模型性能、计算复杂度和整体参数数量的影响进行了比较分析。TSViT 在两个测试集上分别达到了 100% 和 99.99% 的平均准确率。

Nov, 2023

本研究探讨了如何使用基于卷积核的方法，包括 ROCKET 和一维卷积神经网络，在多变量时间序列分类中实现故障检测。使用三个不同的基于卷积核的分类器，该方法在测试数据中表现出超过 98.8％的准确性，优于其他曾有的方法。

May, 2023

利用时间频率分析和深度学习技术，本文提出了一种诊断滚动轴承故障的方法，在时间变化的速度和不同噪声水平下取得了显著的准确率提升，解决了现有方法在这些条件下应用受限的问题。

Jan, 2024

利用声音和振动信号的转移学习方法来解决实际运行场景中训练数据与真实数据之间的分布差异，并通过预训练和微调的骨干结构与基于深度神经网络的分类器相结合，取得了较好的故障诊断性能。

Oct, 2023

利用 Transformer 架构的符合预测方法通过捕捉长期记忆和长程依赖，以 Transformer 解码器作为条件分位数估计器来预测预测残差的分位数，从而估计预测区间，并通过综合实验证明该方法在模拟和真实数据上相较于现有的符合预测方法具有更好的性能。

Jun, 2024

本文提出了一种适用于 Transformer 的鲁棒性验证算法，证明了其结果远优于 Interval Bound Propagation 算法，帮助理解了情感分析中不同单词的重要性。

Feb, 2020

变压器如何模拟物理系统，特别是如何模拟简谐振子，我们通过分析中间过程的编码来研究变压器所使用的模拟方法，发现它们使用已知的数值方法，特别是矩阵指数方法，来模拟简谐振子的轨迹。

May, 2024

近年来，电动车辆 (EVs) 的电池技术一直备受关注，重点是开发新的电池材料和化学成分，然而准确预测电池参数，如充电状态 (SOC) 和温度，对于构建先进的电池管理系统 (BMS) 仍然是一项挑战。鉴于将这些辅助参数整合到传统模型中的困难，建议采用数据驱动的方法，通过利用多头注意力和并行化友好架构的时间序列转换器 (TSTs) 和 LSTM 模型研究。还开发了新颖的 TST 架构，包括编码器 TST + 解码器 LSTM 和混合式 TST-LSTM，并与现有模型进行比较。使用一组包含宝马 i3 (60 Ah) 的 72 次行驶记录的数据集来解决 EV 中的电池寿命预测问题，旨在创建准确的 TST 模型，将环境、电池、车辆驾驶和加热电路数据纳入，以预测未来时间步骤的 SOC 和电池温度。

Aug, 2023