Nov, 2021

图形稳健性基准测试：基准测试图形机器学习的对抗稳健性

PDF
TL;DR本文介绍 Graph Robustness Benchmark (GRB) 以及如何利用其提供的标准化攻击和防御过程、统一评估协议、公共排行榜评估和数据处理来发展更为健壮的图机器学习模型。
adversarial attacksgraph machine learninggraph robustness benchmarkattacks and defensespublic leaderboards
发现论文，激发创造
  • 企业网络入侵检测的对抗鲁棒性评估

    提出了一种方法论性对多个决策树集成模型进行对抗鲁棒性评估的基准测试，评估了正常和对抗训练的随机森林 (RF)、梯度提升树 (XGB)、轻梯度提升树 (LGBM) 和增强型决策树 (EBM) 模型对网络流量的检测性能，通过减少误报来提高对可疑活动的可靠检测能力。

    Feb, 2024

  • 稳健图神经网络的图结构学习

    本文探讨了图神经网络在面临敌对攻击时的脆弱性，并提出了一种名为 Pro-GNN 的框架，以基于真实世界图形的内在属性来联合学习结构性图形和稳健性 GNN 模型以应对此问题。通过实验表明，Pro-GNN 在防御敌对攻击方面表现优异。

    May, 2020

  • 强壮健身房：统一自然语言处理评估领域

    本文介绍了一个名为 Robustness Gym 的情感模型评估工具，能够对广泛的文本数据和模型进行鲁棒性测试，并允许用户比较和开发各种评估方法，以验证模型的能力和性能。研究表明，在测试现实世界中的文本应用时，深度神经网络常常是脆弱的。与此同时，通过对抗攻击和基于规则的数据转换等多样化的评估方法，我们可以更好地测试这些模型的鲁棒性。使用该工具，我们能够在商业和学术领域中的命名实体链接（NEL）和摘要模型等方面，深入了解最新的研究成果，并检查其性能差异和缺陷。

    Jan, 2021

  • 一个标准的对抗鲁棒性基准测试 RobustBench

    为了建立标准化的对抗性鲁棒性基准，我们考虑了图片分类任务，并引入了允许的模型限制，使用 AutoAttack 进行评估，同时提供 80 多种鲁棒模型的开源库，分析了鲁棒性对分布偏移、平滑性等性能的影响。

    Oct, 2020

  • 面向现实世界的定制健壮性通用框架：基于群体的健壮性

    本文旨在通过定义一种补充现有度量方式的量化指标 —— 群体韧性，更好地评估模型在特定攻击情境下的表现并提出了两种损失函数、三种新的攻击策略，证明了该指标对于区分对特定威胁模型的脆弱性有更好的效果，并提出了一种防御方法，可以将群体韧性提高 3.52 倍。

    Jun, 2023

  • 对抗鲁棒性基准测试

    本研究旨在建立一个全面、严谨、连贯的标准来评估对抗性鲁棒性，通过两个鲁棒性曲线作为公正的评估标准来进行大规模实验，全面掌握攻击与防御方法的表现并得出重要结论和未来研究的启示。

    Dec, 2019

  • 精准、可靠、快速的鲁棒性评估

    在神经网络的研究中，我们开发了一种新的梯度基础的对抗攻击方法，相较于已有的攻击方法，它更可靠，可以适应广泛的对抗标准，并且在提高效率的同时，不需要进行超参数调整，这将对神经网络的鲁棒性评估做出有益的贡献。

    Jul, 2019

  • 可解释的人工智能安全：探索图神经网络对对抗攻击的鲁棒性

    图神经网络 (GNNs) 的脆弱性研究，通过系统性地考虑图数据模式、模型特定因素和对抗样本的传递性，揭示了对抗攻击对 GNN 的影响，从而为提高 GNN 的对抗鲁棒性提供了相关的准则和原则。

    Jun, 2024

  • KGPA: 大型语言模型的跨领域知识图谱鲁棒性评估

    本文提出了一种通过知识图谱来评估大型语言模型在对抗攻击场景下的鲁棒性的框架，并通过生成原始提示和毒化的对抗提示来评估模型的鲁棒性。实验证明，ChatGPT 家族的对抗鲁棒性在 GPT-4-turbo > GPT-4o > GPT-3.5-turbo，而大型语言模型的鲁棒性受其所操作的专业领域的影响。

    Jun, 2024

  • 图结构学习基准

    使用 20 个不同的图数据集和 16 个不同的 GSL 算法构建的全面图结构学习基准 (GSLB) 系统地分析了 GSL 的性能，并评估了前沿的 GSL 算法在节点级和图级任务中的表现，以及它们在鲁棒学习和模型复杂性方面的性能并提供了可视化的方法进行训练、评估和可视化不同的 GSL 方法。

    Oct, 2023