我们提出了一种新的隐私攻击来推断在线社交网络用户的属性，这些攻击利用看似无害的用户信息来推断目标用户的缺失属性，我们的攻击在社交朋友和行为记录两个方面都有所得，比以往的攻击更为有效，有严重的网络隐私保护问题。

Jun, 2016

SEA 是一种新型的机器学习安全系统，用于对 ML 系统中的黑盒攻击进行取证，并促进人类可解释的智能共享。它利用隐马尔可夫模型框架将观察到的查询序列归因于已知攻击，从而了解攻击的进展情况，而不仅仅关注最终的对抗性示例。我们的评估结果显示，SEA 在攻击归因方面非常有效，甚至在攻击再次发生时也具有鲁棒性，并且能够识别出攻击库中特定较小实现错误的指纹。

Aug, 2023

本文研究了针对机器学习分类器的黑盒攻击，其中每个向模型的查询都会给对手带来一些代价或检测风险。我们的重点是将查询次数最小化作为主要目标。具体而言，我们考虑了在最小化查询次数的同时遵守特征修改成本预算的机器学习分类器攻击问题。我们描述了一种利用贝叶斯优化来最小化查询次数的方法，并发现，在特征修改成本预算较低的情况下，与随机策略相比，查询次数可以减少到大约原来的十分之一。

Dec, 2017

研究表明，深度神经网络通过分类器提取的内部表示，可以揭示数据的敏感属性。本文介绍了一种通过信息理论攻击的方式，训练精度高、实用性强的代理人，以在几个看似安全的情况下攻击用户隐私，并提出了未来研究领域。

May, 2021

本文介绍了一种基于模型终极预测标签的查询高效边界型黑盒攻击 (QEBA)，并在 ImageNet 和 CelebA 数据集上进行了广泛的实验。实验结果表明，与最先进的黑盒攻击相比，QEBA 能够使用更少的查询次数以更低的扰动量实现攻击，并在实际 API 上展示了攻击案例。

May, 2020

深度神经网络易受微小且难以察觉的扰动影响。基于查询的黑盒攻击（QBBA）能够利用图像查询的模型输出概率创建扰动，而无需访问底层模型。QBBA 给现实世界应用带来了真实威胁。最近，人们通过各种鲁棒性方法来防御 QBBA。在本文中，我们首先对 QBBA 的随机性防御策略进行分类。根据我们的分类法，我们建议研究基于非加性随机性的模型防御 QBBA。具体而言，我们关注于基于灵活架构的未被充分探索的 Vision Transformers。广泛的实验表明，所提出的防御方法能够在不过多降低性能的情况下实现有效的防御。

Sep, 2023

通过对威胁模型建立一个新的分类系统，本研究揭示了各种黑盒攻击的未被充分探索的威胁空间，强调了对攻击成功率进行更真实评估的重要性。

Oct, 2023

本文聚焦于模型反演攻击，介绍了一种新的基于置信度分数的攻击方法和仅需要模型预测标签的攻击方法，并将攻击算法应用在决策树和深度神经网络上，评估了不同数据集在不同身份特征条件下的漏洞性。

Jan, 2022

通过特别设计的问题，我们开发了一种零知识的框架，用于探测数据库模式的各种元素，从而揭示数据库模式的结构。我们将其应用于文本到 SQL 模型和生成语言模型，可以在细调模型中以近.75 的 F1 值和生成模型中以.96 的 F1 值重建表名。

Jun, 2024

提出了一种利用存在事件作为触发器，实现高度隐秘的 NISQA 任务背门攻击的新方法，并在四个基准数据集上进行实验，使用了两种最先进的 NISQA 模型，结果表明该背门攻击的平均攻击成功率高达 99％，中毒率仅为 3％。

Sep, 2023