Mar, 2023

加速神经网络训练的大偏差

PDF
TL;DR本文介绍了一个基于大偏差原理的新型人工神经网络训练方法 LAD Improved Iterative Training，该方法使用 Modified Training Sample（MTS）作为训练样本，采用异常得分为基础的采样策略，能更加有效地学习高维数据特征和模式，与传统批处理方式相比分类性能更优。
artificial neural networksclassification modelslad improved iterative traininglarge deviations theoryanomaly score based sampling strategy
发现论文，激发创造
  • 大型语言模型引导的时间序列异常检测的知识蒸馏

    通过知识蒸馏，以大型语言模型 (LLM) 为基础训练的教师网络来训练学生网络以检测时间序列异常，利用原型信号和合成异常样本的策略，AnomalyLLM 在 15 个数据集中表现出最先进的性能，在 UCR 数据集中提高了至少 14.5％ 的准确性。

    Jan, 2024

  • 学习动力学对泛化关系的重要性示例

    基于已有研究的基础上，本文提出了一种标记伪神经切向核方法（lpNTK），该方法在测量样本之间的相互作用时考虑了标签信息，并证明了 lpNTK 在一定假设条件下以 Frobenius 范数为标准渐近接近于经验神经切向核。同时，本文还阐述了 lpNTK 在理解学习现象、特别是样本学习难度和遗忘事件方面的作用，此外还表明使用 lpNTK 识别和删除对神经网络的泛化性能没有负面影响。

    Jan, 2024

  • 大型语言模型可提供准确且可解释的时间序列异常检测

    LLMAD 是一种新的时间序列异常检测方法，采用大语言模型（LLMs）提供准确而可解释的结果，通过在上下文中的检测来检索正面和负面的相似时间序列片段，并采用 Anomaly Detection Chain-of-Thought（AnoCoT）方法模仿专家逻辑进行决策过程，为用户决策提供解释。

    May, 2024

  • 基于液体神经网络的自适应学习与增量学习在由于网络故障引起的概念漂移中的链路负载预测比较

    通过使用自适应学习算法（即液态神经网络），本研究针对交通预测问题解决了概念漂移问题，并且在实验结果中证明，在交通模式发生剧变时，我们提出的方法优于基于增量学习的方法。

    Apr, 2024

  • 可学习数据增强的自监督时间序列异常检测

    我们提出了一种利用可学习数据增强的时间序列异常检测（LATAD）技术，该技术通过对比学习从时间序列数据中提取判别特征。LATAD 在潜在特征相似性的基础上测量异常得分，并在多个基准数据集上表现出与最先进的异常检测评估相当或更好的性能，并提供了一种基于梯度的诊断技术来帮助确定根本原因。

    Jun, 2024

  • LANIT：基于语言的无标记图像翻译

    提出了一种以语言为驱动的图像翻译模型（LANIT），通过利用文本中的属性来获得 per-sample 的多热标签，并提出了 prompt learning 和域规则化损失以提高性能。

    Aug, 2022

  • 仪器与控制系统中集成的机器学习方法的动态模型无关可信度评估

    通过将数据监督引入机器学习预测模型，我们提出了一种实时模型无关的方法，评估机器学习预测的相对可靠性，并通过针对操作数据集与训练数据集之间的差异来计算预测的相对可靠性，用以支持机器学习预测在常规插值任务中的可信度。

    Aug, 2023

  • 深度神经网络的自适应归一化风险规避训练

    本文提出了一种新的错误标准和学习方法，ANRAT，用于攻击训练深度神经网络（DNNs）中的非凸优化问题，旨在解决 DNNs 中的非凸优化问题，通过改进训练过程，用于解决 MNIST 和 CIFAR-10 数据集上的可视化识别任务。

    Jun, 2015

  • LARA：轻量级和抗过拟合的无监督异常检测再训练方法

    该研究提出了一种基于深度变分自编码器（VAEs）的时间序列异常检测方法中的轻量级和防过拟合的重新训练方法（LARA），该方法能够以较快的速率收敛，并避免过拟合问题。实验证明，即使使用新分布的 43 个时间段的数据来重新训练 LARA，其 F1 得分仍与使用充分数据训练的最先进的异常检测模型相竞争，并且该方法的额外开销较小。

    Oct, 2023

  • LafitE: 带有特征编辑的潜在扩散模型用于无监督多类异常检测

    在灵活的制造系统中，提出了一种无监督的多类异常检测方法，其中包括使用隐式扩散模型来重构数据，使用特征编辑策略来避免 “身份捷径” 问题，以及综合异常数据为虚假验证集来解决超参数选择问题。

    Jul, 2023