Jan, 2024
自监督学习增强变压器在 PPG 信号伪迹检测中的鲁棒性和效能
Boosting Transformer's Robustness and Efficacy in PPG Signal Artifact Detection with Self-Supervised Learning
Thanh-Dung Le
TL;DR该研究在儿童重症监护单元 (CHU Sainte Justine's PICU) 的最新研究中发现，在 PPG 信号的伪迹检测方面，传统的机器学习方法（如半监督标签传播和 K 最近邻算法）在数据有限时效果优于基于 Transformer 模型的方法。本研究通过自我监督学习 (Self-Supervised Learning, SSL) 从未标记数据中提取潜在特征，并结合有标签数据进行微调，证明了 SSL 能够显著增强 Transformer 模型的表示学习能力，在伪迹分类任务中提高了其稳健性。其中，对比学习 (contrastive learning) 是众多 SSL 技术中表现最稳定且性能最优的技术，特别适用于小规模的 PPG 数据集。此外，研究还详细探讨了对比损失函数优化的问题，该函数对于对比自我监督学习至关重要。受 InfoNCE 的启发，我们引入了一种新的对比损失函数，有助于训练更平稳、收敛更好，从而提高伪迹分类的性能。总之，该研究证实了 SSL 在利用未标记数据方面的效果，特别是在增强 Transformer 模型能力方面，并有望在注释数据有限的 PICU 环境中广泛应用。