Feb, 2023

探索在网络安全领域使用统一模型的迁移学习极限

PDF
TL;DR本文介绍了一种利用自然语言处理技术应用于网络安全领域的生成式多任务模型（UTS），该模型能够训练并应用于多种网络威胁检测、漏洞检测和社交媒体数据处理任务，能提高网络安全数据集的性能，同时减少了人工验收数据的成本。
cybersecuritynatural language processingmulti-task modelsmalwaresoftware vulnerabilities
发现论文，激发创造
  • 使用统一的文本到文本 Transformer 探索迁移学习的极限

    本文探讨了自然语言处理中的迁移学习技术，提出了一个统一的框架来解决所有基于文本的问题，比较了预训练目标、架构、数据集等因素对于各种语言理解任务的影响，并通过实验与新数据集达到了最先进的结果，并共享了数据集、预训练模型和代码，以促进未来的 NLP 迁移学习研究。

    Oct, 2019

  • CySecBERT: 面向网络安全的领域自适应语言模型

    本文介绍了一个特定于网络安全领域的语言模型，利用预训练的 BERT 模型，构建了一个数据集，并基于该数据集进行了 fine-tuning，在 15 个不同的前沿任务中进行了比较，结果表明该模型在特定应用场景下表现最佳，并且在避免 catastrophic forgetting 方面效果良好。

    Dec, 2022

  • 忽略我，但不要替换我：利用非语言元素在网络安全领域的预训练

    针对网络安全领域中的非结构化文本，我们提出了不同的预训练方法，并通过下游任务和探测任务对其有效性进行评估。我们的所提出的策略（选择性 MLM 和联合训练 NLE 令牌分类）优于常用的替换非语言元素的方法。我们使用这种领域定制的方法训练了一个网络安全领域的语言模型 CyBERTuned，在大多数任务上胜过了其他网络安全 PLMs。

    Mar, 2024

  • SecureBERT：面向网络安全的领域特定语言模型

    本文提出了一个名为 SecureBERT 的新的自然语言处理模型，该模型已使用机器学习算法在大量网络安全数据上进行了训练，能够自动处理网络安全文本（例如 CTI），并成功应用于自动化解决了许多重要的网络安全任务。

    Apr, 2022

  • 运用大型语言模型革新网络威胁检测

    本文介绍了 SecurityLLM，它是一个旨在检测网络安全威胁的预训练语言模型，其中 SecurityBERT 作为网络威胁检测机制，而 FalconLLM 则是一种事件响应和恢复系统，实验结果表明，我们的 SecurityLLM 模型可以在 98% 的准确率下识别 14 种不同类型的攻击。

    Jun, 2023

  • 基于多特征的语义增强网络在威胁情报中的命名实体识别应用

    提出一种语义增强方法，该方法结合了不同的语言特征以识别和分类非结构化文本中的网络安全名称和概念，实验证明该方法有效。

    Jul, 2022

  • 使用统一文本到文本转换 Transformer 进行极端多领域、多任务学习

    研究了多领域文本转换转换器在 Python Code 和 Chess 领域中 4 个任务上的行为，发现 GPT 风格的联合预训练 + 联合微调策略在多领域，多任务学习中表现最好。

    Sep, 2022

  • 自然语言处理中的用户中心安全

    本学位论文提出了一种用户中心的自然语言处理（NLP）安全框架，并演示了如何改进相关研究的可访问性。该框架主要研究语言上的对抗攻击，并探讨如何通过语言的对抗样本实现隐私保护，并评估文化变革和词汇增强对网络欺凌检测的影响。

    Jan, 2023

  • 网络安全实体抽取的自动标注

    本文介绍了一种利用结构化数据来自动标注文本的精确方法，并提供一个标注了网络安全实体的语料库。我们使用平均感知器上的最大熵模型对我们的语料库进行训练，训练时间不到 17 秒，并实现了接近完美的精确度、召回率和准确性。

    Aug, 2013

  • 从文本中识别和提取与网络安全相关的实体

    建立 CTI 数据集，使用 spaCy 框架和自我学习方法训练和测试网络安全实体模型，并探索将其与 Wikidata 的现有世界知识相链接的方法。

    Aug, 2022