特征分布偏移消减的对比预训练方法用于入侵检测

ICMLApr, 2024

特征分布偏移消减的对比预训练方法用于入侵检测

Feature Distribution Shift Mitigation with Contrastive Pretraining for Intrusion Detection

Weixing Wang, Haojin Yang, Christoph Meinel, Hasan Yagiz Özkan, Cristian Bermudez Serna...

TL;DR基于 SwapCon 模型，我们提出了一种在预训练阶段压缩移不变特征信息并在微调阶段精细调整的机器学习模型，证明这种预训练范式在网络入侵检测问题中可以提高对特征分布变化的鲁棒性超过 8%，并且比基于 eXtreme Gradient Boosting (XGBoost) 和 K - 最近邻 (KNN) 的模型表现更好。

Abstract

In recent years, there has been a growing interest in using machine learning (ML), especially deep learning (DL) to solve network intrusion detec

machine learning deep learning network intrusion detection feature distribution shift pretraining

发现论文，激发创造

卷积神经网络的强健性和可迁移性研究

对现代深度卷积网络（CNN）未能在分布漂移下推广的问题进行了研究，并探究了预备数据量、模型规模和数据处理流程对迁移性能的影响，发现增加训练集和模型大小显著提高了分布偏移鲁棒性，同时是非常简单的预处理，如修改图像分辨率在某些情况下可以显著缓解鲁棒性问题。最后，我们提出了一个新的综合数据集 SI-Score 进行了系统的分析。

Jul, 2020

分布偏移下的唤醒词检测

本文提出了一种半监督学习方法，它能够克服关键词检测任务中由于训练和实际数据之间分布偏移所引起的挑战，并且能够优化卷积神经网络以提高模型准确性。

Jul, 2022

询问您的分布偏移是否适合预训练

该研究旨在界定预训练在处理数据分布偏移时可以解决的失败模式，发现预训练可以缓解数据外推问题，但对数据集偏见无效；研究结果指出，预训练和干扰同时使用可以增加模型的鲁棒性，也发现在小规模、非多样但去除偏见的数据集上进行微调可以得到比在大规模和多样但有偏见的数据集上进行微调更加鲁棒的模型。

Feb, 2024

特征偏移检测与校正的对抗学习

利用对抗性学习的原则，结合主流的监督分类器和简单迭代启发式方法，本研究探索了利用多个辨别器的信息来检测和修复数据集之间特征变化，以消除特征变化所带来的分布偏移，优于当前的统计和神经网络技术。

Dec, 2023

用于外部分布预测的分布偏移反演模型

该论文探讨了如何绕过测试分布的要求以训练分布转换器，并在多领域和单一领域的广义数据集上进行了实验。他们提出了一种便携式的分布漂移反演算法，通过线性组合附加高斯噪声并使用仅在源分布上进行训练的扩散模型将 OoD 测试样本转移到训练分布中。

Jun, 2023

网络入侵检测的多阶段优化机器学习框架

本文提出了一种新颖的多阶段优化的基于机器学习的 NIDS 框架，它减少了计算复杂性，同时保持了检测性能，研究了过采样技术对模型训练样本大小的影响，确定了最小合适的训练样本大小，并探究了基于信息增益和基于相关性的两种特征选择技术对检测性能和时间复杂度的影响，同时还调查了不同机器学习超参数优化技术来增强 NIDS 性能，实验证明所提出的模型显著降低了所需的训练样本大小（最高可达 74%）和特征集大小（最高可达 50%），且性能获得了提升，对 CICIDS 2017 和 UNSW-NB 2015 数据集的检测准确率均超过了 99%，优于最近的文献工作，其精度更高 1-2% ，误报率更低 1-2%。

Aug, 2020

异质相似度下的监督对比学习用于分布偏移

本文提出了一种利用监督对比学习的新型正则化方法，通过将余弦相似度扩展到更一般的相似度度量，建议在比较样本与正 / 负例子时使用不同的参数，并在此基础上提出了一种具有优势的方法，用于处理数据分布变化的问题，这种方法尤其适合使用高度代表性的模型，如神经网络。

Apr, 2023

预训练语言模型在测试时解决分布转移问题

本研究提出了一种使用未标记数据的自适应方法 (MEMO-CL)，利用最新的无监督技术来最小化在测试时由于分布变化导致的测试性能下降问题，通过对单个测试样本中的一批增强样本进行处理，实现了无监督、领域不可知、容易实施且无需额外数据的自适应技术，相对当前测试时适应基线所取得的进展为 3%。

Dec, 2022

基于机器学习的网络入侵检测在大规模和不平衡数据上的应用：过采样、堆叠特征嵌入和特征提取

我们介绍了一种基于机器学习的网络入侵检测模型，使用随机过采样处理数据不平衡并基于聚类结果进行堆叠特征嵌入，以及使用主成分分析进行维度约简，特别适用于大规模和不平衡的数据集，并在三个现阶段的基准数据集：UNSW-NB15、CIC-IDS-2017 和 CIC-IDS-2018 上进行了评估，结果表明该模型的性能持续优于现有技术，证明了该方法在网络入侵检测领域的重要进展和有效性。

Jan, 2024

深度稳健学习 - 针对外部分布泛化

本文主要研究基于深度神经网络的方法在训练数据与测试数据分布不一致时的性能问题，并通过学习训练样本的权重以消除特征之间的依赖关系，从而提高深度模型的性能。通过在多个分布泛化基准测试上的实验，与同类研究相比，我们的方法取得了很好的效果。

Apr, 2021