我们提出了一种名为 TKD 的新框架，利用深度神经网络基于的模型所选择的视频帧（瞬间的感知）来蒸馏轻量级模型中的时间知识，通过进行两个新的步骤：1）基于 LSTM 的关键帧选择方法；2）新的教师束缚损失设计。使用不同的目标检测方法，在多个数据集上进行了全面的经验评估，包括 Youtube-Objects 和 Hollywood 场景数据集。我们的结果显示，与其他现代对象识别方法相比，我们在动态场景的帧上的目标检测准确度 - 速度平衡方面有着一致的提高。
Mar, 2019
提出了一种名为 KDDT 的新方法用于列车控制和管理系统 (TCMS) 的异常检测，该方法利用语言模型 (LM) 和长短期记忆 (LSTM) 网络来提取背景和时间特征，在实证研究中，KDDT 表现出了卓越的性能。
Sep, 2023
无监督深度学习技术广泛用于识别异常行为。该研究介绍了一种基于知识蒸馏的新型过程，用于将无监督异常检测模型压缩成监督可部署模型，并提出了一套提高检测敏感性的技术集合。压缩模型在显著减小大小和内存占用的同时，性能与较大模型相当。
Oct, 2023
研究发现，在网络训练期间，特征映射的演化遵循时间顺序属性，使用卷积长短期记忆网络（Conv-LSTM）提取学生的不同训练阶段的时空特征进行动态目标训练，可以实现在学生网络中对旧知识的精炼并利用它们来帮助当前的学习，相关实验证明其方法相对于现有的知识蒸馏方法在各种网络架构和不同任务上的有效性和优势。
Jul, 2023
本篇研究探讨了如何通过知识蒸馏技术，减少重新训练模型所需时间和计算成本，实验结果表明，在保证准确率的前提下，通过蒸馏前一次迭代的模型来优化后续的模型，是一种可行的对模型训练耗时和费用成本的优化方法。
Mar, 2023
使用时空图神经网络 (ST-GNN) 对实时交通数据建模，通过知识蒸馏 (KD) 提高 ST-GNN 在实时交通预测中的执行效率，使用剪枝算法和联合优化实现网络架构搜索和精调，评估结果表明，即使保留网络参数的仅 3％，我们的方法仍能使学生网络接近教师网络的准确性。
Jan, 2024
通过知识蒸馏，以大型语言模型 (LLM) 为基础训练的教师网络来训练学生网络以检测时间序列异常，利用原型信号和合成异常样本的策略，AnomalyLLM 在 15 个数据集中表现出最先进的性能，在 UCR 数据集中提高了至少 14.5％ 的准确性。
本研究提出了两种新颖的方法，知识调整（KA）和动态温度蒸馏（DTD），用于惩罚错误监督并改善学生模型，实验表明该方法在各种评测数据集上，以及与其他基于知识蒸馏的方法相结合时，都能获得鼓舞人心的表现。
Nov, 2019
通过自然语言处理和机器学习技术，我们提出一种能够在语篇层面检测金融相关新闻时态性的新系统，利用了句法和语义依赖等复杂特征，从而提取主要陈述的主导时态。实验结果表明，与一种基于规则的替代方法相比，该系统具有较高的检测精确度，最终有助于发掘金融决策的预测性知识。
Mar, 2024
金融文本中存在时间数据分布的变化，如何在不稳定的市场环境中训练一个能够准确推断情感且对时间数据分布变化具有鲁棒性的金融情感分析系统？本文通过对跨越三年的真实金融社交媒体数据集进行经验研究，在时间数据分布变化的情况下分析金融情感分析系统的性能下降问题，并基于金融文本的独特时间性质提出了一种结合异常检测和时间序列建模的新方法用于时间金融情感分析。实验证明该方法增强了模型在波动的金融市场中适应不断变化的时间趋势的能力。