Dec, 2022

端到端信息安全任务的 Transformer：可行性研究

PDF
TL;DR本研究评估 transformer 模型在端到端 InfoSec 设置中的可行性，并探索了在两种不同的 InfoSec 数据格式（即 URL 和 PE 文件）上实施 transformer 模型的方法，以及多种不同的架构设计、训练和实验设置以确定实现性能检测模型所需的条件，通过实验证明与传统的 transformers 相比，URL 转换器模型需要不同的训练方法才能达到高性能水平。
transformer modelsend-to-endinfosecmalicious/benign urlspe files
发现论文，激发创造
  • 发挥 Transformer 潜力的策略：eRisk 2023 上的 UNSL

    通过使用 Transformers，在风险检测与早期发现的任务中，提出了多种基于相似性嵌入向量和提示技术的解决方案，并在抑郁症、病态赌博等领域取得了良好的性能。

    Oct, 2023

  • 探索在网络安全领域使用统一模型的迁移学习极限

    本文介绍了一种利用自然语言处理技术应用于网络安全领域的生成式多任务模型（UTS），该模型能够训练并应用于多种网络威胁检测、漏洞检测和社交媒体数据处理任务，能提高网络安全数据集的性能，同时减少了人工验收数据的成本。

    Feb, 2023

  • 长程变压器的自然语言处理任务效率

    比较研究了多种 Transformer 模型的性能，发现长序列的改进版本在内容选择和查询引导解码方面有优势，但在处理远距离的信息和近似误差上有欠缺的地方。

    Feb, 2022

  • 基于 Transformer 的语言模型用于软件漏洞检测

    本研究探讨了如何利用基于 transformer 的语言模型来检测软件漏洞，研究了在处理具有多个漏洞的 C/C++ 源代码时，这些模型的性能如何，并发现与当时的双向 LSTM 和双向 GRU 等其他模型相比，这些语言模型在漏洞检测方面具有更好的性能指标。此外，该论文还分析了流行的平台来有效地进行微调，并在选择平台时提供了建议。

    Apr, 2022

  • 跨领域自动术语提取中的 Transformer 集成

    本文在多语言跨领域设置中，提出了基于 Transformers 预训练语言模型的术语抽取的预测能力的比较研究。实验结果表明，除了荷兰语和法语之外，在所有语言中应用单语言模型的策略优于利用多语言模型的最先进方法。此外，将两个最佳模型的输出组合起来，可以取得显著的改进。

    Dec, 2022

  • 基于 Transformer 模型的自动化论文评分数据增强

    本文研究使用 Transformer 模型与数据增强技术解决自动评分的问题，通过实验证明其有效性。

    Oct, 2022

  • Transformer 的好处：在无结构数据的线性回归任务中的上下文学习

    通过进行线性回归任务的实验，研究了 transformer 结构的优势，并提供了相应的理论直觉来解释 transformer 如何从非结构化数据中进行上下文学习。特别是观察到：（1）具有两层 softmax (self-) attention 和前瞻性注意力掩码的 transformer 可以从提示中进行学习；（2）位置编码可以进一步提高性能；（3）具有较高输入嵌入维度的多头注意力优于单头注意力。

    Feb, 2024

  • 针对低级视觉的高效基于 Transformer 的图像预训练

    本文研究预训练在图像处理系统中的作用，采用基于 Transformer 的预训练机制提高各种低级任务的性能，并设计一整套对内部表示影响的评估工具。实验证明，预训练对低级任务有着截然不同的影响，其中多任务预训练是最有效和数据高效的方法，本研究成功地开发了多种低级任务的最新模型。

    Dec, 2021

  • 预训练图像处理 Transformer

    本论文主要研究了低层级计算机视觉任务（如去噪、超分辨率和去雨等），并开发了一种新的预训练模型 —— 图像处理变压器（IPT），通过 ImageNet 基准测试产生大量的损坏图像对，训练 IPT 模型并成功地在不同的图像处理任务上产生了良好的结果。

    Dec, 2020

  • 线性变换器是多功能的上下文学习器

    线性 Transformer 能隐式地执行梯度下降算法和找到优化策略。

    Feb, 2024