用于专门的网络威胁情报的多级微调、数据增强和少样本学习

Jul, 2022

用于专门的网络威胁情报的多级微调、数据增强和少样本学习

Multi-Level Fine-Tuning, Data Augmentation, and Few-Shot Learning for Specialized Cyber Threat Intelligence

Markus Bayer, Tobias Frey, Christian Reuter

TL;DR尽管现有分类器的泛化能力不佳，但我们提出了一种基于机器学习的方法来从开放源中收集适当的网络安全信息。我们将三种不同的小数据技术 (转移学习，数据增强和少样本学习) 相结合，训练了一个高质量的分类器，发现 F1 得分比标准训练方法提高了超过 21 个点，比少样本学习的现有方法提高了超过 18 个点。

Abstract

Gathering cyber threat intelligence from open sources is becoming increasingly important for maintaining and achieving a high level of security as systems become larger and more complex. However, these open sources are often subject to information overload. It is therefore useful to ap

cyber threat intelligence machine learning classifier data augmentation few-shot learning

发现论文，激发创造

小样本弱监督网络安全异常检测

本文提出了一个增强后的少样本弱监督深度学习异常检测框架，结合了数据增强、表示学习和序回归方法，并在三个基准数据集上进行了评估和展示其性能。

Apr, 2023

利用数据增强和时频转换进行时间序列分类的小样本学习

通过数据增强进行的少样本学习，结合时间 - 频率领域的转换和随机擦除合成图像生成，提出了一种新颖的少样本学习框架。实验结果表明，该方法能够在两个数据集上分别达到 93.75% 和 95.48% 的 F1 得分以及 93.33% 和 95.59% 的准确率，证明在解决时间序列分类中的少样本问题上具有实际应用价值。

Nov, 2023

利用三元组网络、数据增广和课程学习进行少样本文本分类

本文研究采用数据增强的方式以应对有限数据的训练，探索其中的课程数据增强方法。研究结果表明，对于少样本、多分类文本分类任务，常见的数据增强技术能显著提高三元组网络的性能，而采取课程数据增强的方式可以进一步提升模型性能，并且可以保持对于数据扰动的鲁棒性。

Mar, 2021

少样本图像分类的基准线

这篇研究论文旨在通过优化跨熵损失训练深度网络，提出一种基准模型来解决 few-shot 学习问题，并通过使用更多的元训练类来提高准确性，同时提出衡量 few-shot 任务难度的度量标准。

Sep, 2019

面向低资源域特定软件需求分类的少样本学习方法

本文针对汽车领域文本软件需求分类问题，提出了对极少量标注样本进行 Few-shot 学习 fine-tuning 的算法和方法，发现在只有数十个标注样本时，SciBERT 和 DeBERTa 的效果最好；但随着标注样本数量的增加到 50 个，相对于 Siamese 和 T5，它们的性能提升微乎其微

Feb, 2023

使用数据增强、Focal Cosine Loss 和集合方法进行图像分类的高效深度学习方法

为提高深度学习模型的性能和泛化能力，本论文提出了数据、损失函数和预测等三个方面的技术，以有效地利用小数据集进行训练。通过利用仅包含每类 50 张图像的 ImageNet 数据，我们取得了高准确率，并在 “数据有效计算机视觉挑战” 中排名第四。

Jul, 2020

少样本意图分类的特征空间数据增强研究

本论文研究了少样本数据集中引入新意图的问题，提出了利用六种特征空间数据增强方法结合 BERT 监督和无监督学习的方法来提高分类性能的方法。在公共的对话数据集上展现了特征空间数据增强提供了一种有效的方式来改善少样本设置下的意图分类性能，尤其是潜在空间的上采样是一种竞争性的基准方法。

Oct, 2019

有限数据下的信息提取迁移学习

本文提出了一种通过使用转移学习的方法，并结合深度神经网络和统计分类器的结合来进行信息提取，将该方法应用于日本政府工程竞标实际案例的文档处理中，证明了该模型能够提取具有详细信息精度的细粒度命名实体。

Mar, 2020

当少数人超过大多数：无监督学习在非法内容识别的应用

本研究调查了使用图像识别非法活动的替代技术，特别是探讨了使用同构神经网络的 One-Shot 和 Few-Shot 学习这一最新方法，我们的解决方案在小规模数据集上具有很高的准确性，因此得出这样的模型是在 Dark Web 上定义自动执法机构的一种有前景且廉价的替代方案。

Nov, 2023

如何以少量样本微调模型：更新，数据增强和测试时间增强

本研究基于转移学习方法探究预训练模型在少样本学习任务下的迁移，比较全微调和线性探测两种常用的更新方法，并研究数据增强和测试时间增强对少样本性能的影响。结果表明，针对不同的数据和任务性质选择不同的迁移和增强方法能提高多样性能。

May, 2022