本文提出了一种基于知识蒸馏的联邦学习训练框架，利用数据孪生技术在服务器上训练大型教师模型，解决设备资源受限和异构性问题，并将联合问题建模为混合整数规划问题，使用 Q - 学习进行模型选择和本地或服务器训练决策，并基于优化分配用户的资源，仿真结果显示该方法显著提高了用户平均精度，同时减少了总延迟。

Mar, 2023

基于数字孪生的课程学习的异常检测方法 LATTICE 通过引入课程学习来优化 ATTAIN 的学习过程，并在五个真实世界的 CPS 测试平台上的评估结果显示，LATTICE 在 F1 得分方面优于三个基准模型和 ATTAIN，并且平均减少 4.2% 的 ATTAIN 训练时间和检测延迟时间与基准模型相当。

Sep, 2023

在金融服务行业中，检测异常已成为一项越来越关键的功能。该研究提出了一种基于时间知识蒸馏的标签增强方法，利用旧模型的学习来快速提升最新模型的能力，从而有效减少模型重新训练的时间并改善其性能。

Dec, 2023

本文介绍一种 TwinExplainer 系统，其可以解释汽车数据驱动数字孪生系统的预测，并且它可以帮助汽车利益相关者了解传感器通道的全球规模以及它们对通用 DT 预测的贡献。

Feb, 2023

我们提出了一种名为 TKD 的新框架，利用深度神经网络基于的模型所选择的视频帧（瞬间的感知）来蒸馏轻量级模型中的时间知识，通过进行两个新的步骤：1）基于 LSTM 的关键帧选择方法；2）新的教师束缚损失设计。使用不同的目标检测方法，在多个数据集上进行了全面的经验评估，包括 Youtube-Objects 和 Hollywood 场景数据集。我们的结果显示，与其他现代对象识别方法相比，我们在动态场景的帧上的目标检测准确度 - 速度平衡方面有着一致的提高。

Mar, 2019

基于模型的异常检测通过将学习到的时序自动机与系统相关的形式知识图谱相结合，提供了对模型和检测到的异常的更简单的解释和理解，并提出了必要概念的本体论，该方法在一个五罐混合 CPPS 上进行验证，并能正式定义自动机模型和自动机执行的时间异常。

Aug, 2023

由于数据不平衡和缺陷的多样性，学生 - 教师网络（S-T）在无监督异常检测中备受青睐，它通过知识蒸馏过程中从特征表示中探索差异来识别异常。文章通过构建新颖的双学生知识蒸馏（DSKD）架构来解决原生 S-T 网络不稳定的问题，该架构的关键在于使用两个具有相同尺度但结构相反的学生网络和一个单一预训练的教师网络。通过两种策略，即金字塔匹配模式和深度特征嵌入模块，以捕捉异常线索的高维语义信息，该架构可以增强蒸馏效果、改善正常数据的一致性识别，并同时引入多样性来表示异常，最终通过像素级异常分割图和样本判定的异常得分，实现了对三个基准数据集的评估和对内部模块的消融实验，结果显示 DSKD 在小型模型（如 ResNet18）上实现了卓越的性能，并有效改进了原生 S-T 网络。

Feb, 2024

本论文研究了如何在物理控制系统中高效检测数据分布的异常点，提出了利用归纳式一致性预测和异常检测方法进行检测的方案，并通过仿真实验在自动驾驶和紧急制动系统中得到了良好的实验结果。

Jan, 2020

通过知识蒸馏，以大型语言模型 (LLM) 为基础训练的教师网络来训练学生网络以检测时间序列异常，利用原型信号和合成异常样本的策略，AnomalyLLM 在 15 个数据集中表现出最先进的性能，在 UCR 数据集中提高了至少 14.5％ 的准确性。

Jan, 2024

本论文提出一种基于知识蒸馏（KD）的模型训练策略，通过将教师模型学到的知识传输给学生模型，简化深度神经网络（DNN）学生模型并实现了显著的精度提高，使用多个教师模型进行训练进一步提高了学生模型的准确性。包括教师门控以及蒸馏损失提前停止等创新方法在内的多个实验表明了基于知识蒸馏的训练策略的有效性。

Nov, 2020