ICMLJun, 2023

使用多头注意力的用户代理字符串解析新方法用于漏洞分析

PDF
TL;DR本文提出了使用多头注意力机制变压器来解析用户代理字符串的新方法，并讨论了如何利用解析后的用户代理字符串评估公共 IT 网络或区域的漏洞得分。
user agent stringsweb browsersparsingtransformersvulnerability scores
发现论文，激发创造
  • SANVis：用于理解自注意力网络的视觉分析

    本文介绍了一种名为 SANVis 的可视化分析系统，旨在帮助用户理解多头自我注意力网络的行为和特征，其中通过 Transformer 模型的使用展示了 SANVis 在机器翻译任务中的使用场景。

    Sep, 2019

  • 基于自注意力头的无监督成分句法分析

    本研究使用 Transformer-based pre-trained language models 并提出一种全新的无监督分析方法，通过引入一个高排名头部的集合，用于从语法角度分析 PLMs 的学习知识，从而提取出 PLMs 的句法知识，并用这些知识来训练神经 PCFG，最终与人类注释的语法树库得到比较。

    Oct, 2020

  • 探索在网络安全领域使用统一模型的迁移学习极限

    本文介绍了一种利用自然语言处理技术应用于网络安全领域的生成式多任务模型（UTS），该模型能够训练并应用于多种网络威胁检测、漏洞检测和社交媒体数据处理任务，能提高网络安全数据集的性能，同时减少了人工验收数据的成本。

    Feb, 2023

  • 端到端信息安全任务的 Transformer：可行性研究

    本研究评估 transformer 模型在端到端 InfoSec 设置中的可行性，并探索了在两种不同的 InfoSec 数据格式（即 URL 和 PE 文件）上实施 transformer 模型的方法，以及多种不同的架构设计、训练和实验设置以确定实现性能检测模型所需的条件，通过实验证明与传统的 transformers 相比，URL 转换器模型需要不同的训练方法才能达到高性能水平。

    Dec, 2022

  • 斥力注意力：将多头注意力重新思考为贝叶斯推断

    本文提出一种基于贝叶斯视角和粒子优化采样技术的非参数方法，通过显式提高多头注意力中的排斥力来增强表达能力，改善不同注意头的重复提取特征的问题，并在各种关注模型和应用程序上进行广泛实验，证明所提出的排斥式注意力可以提高学习到的特征多样性，从而导致更具信息量的表述和各种任务的一致性性能改进。

    Sep, 2020

  • 基于人类注意力辅助的航空视觉与对话导航的多模型融合

    发展能够与人类交流并遵循自然语言命令的智能无人机，该研究提出了一种基于 AVDN 数据集的高效融合训练方法，使用 HAA-Transformer 模型和 HAA-LSTM 模型，对导航路由点和人的注意力进行预测，并在 SR、SPL 指标上取得高效果，相比基线模型，GP 指标有 7% 的改进。

    Aug, 2023

  • 使用多头注意力机制为行为机器人导航翻译自然语言指令

    本文提出了一个多头注意力机制，作为神经网络模型的混合层，用于将自然语言转化为高水平的行为语言，以便室内机器人导航。作者遵循了 Zang 等人（2018a）提出的框架，提出使用导航图作为任务的知识库。实验结果表明，在以前未见过的环境中翻译指令时，可以获得显著的性能提升，从而提高模型的泛化能力。

    Jun, 2020

  • 基于语法的自然语言推理注意力模型

    本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

    Jul, 2016

  • 重新思考自注意力：朝向神经解析可解释性

    本研究提出了标签关注层，一种新的自注意形式，其中关注头表示标签。运行实验并在 Penn Treebank（PTB）和中文 Treebank 上展示出其在词法句法分析方面的最新成果，标签关注层在该实验中表现出了更好的性能，相比现有工作需要较少的自我注意层数。最后，我们发现标签注意头学习了语法类别之间的关系，并显示了分析错误的路径。

    Nov, 2019

  • 抽象化摘要中的多头注意力理解

    本文研究了适用于抽象总结的多头自注意机制的可解释性，介绍了三个度量衡来评估关注头的重要性，发现相对位置的头对总结表现至关重要，不建议弃掉，而强制稀疏性似乎不能显着提高可解释性。

    Nov, 2019