Dec, 2023

针对假新闻检测的对抗性数据污染：如何使模型对目标新闻进行错误分类而不修改该新闻

PDF
TL;DR在这篇立场论文中，我们分析了在不允许操纵原始目标新闻的情况下如何攻击在线学习检测器的性能，以及攻击者如何潜在地引入污染数据来操纵在线学习方法的行为。我们的初步研究发现，基于复杂性和攻击类型，逻辑回归模型对此具有不同的敏感性。
发现论文，激发创造
  • 自然语言处理模型中的隐蔽数据毒化攻击

    本研究开发了一种新的数据污染攻击方法，能够在训练数据中插入少量样本并控制模型预测结果，其中包含一个特定的强制词，同时提出了三种缓解该攻击的防御策略。

    Oct, 2020

  • 通过异常检测在污染攻击中检测对抗训练样例

    本文提出一种防御机制来弥补机器学习中数据毒化的影响，该机制基于离群值检测来检测所谓的最优攻击策略生成的对抗样本与真实样本之间的差异。

    Feb, 2018

  • 使用生成对抗网络进行的投毒攻击

    本文介绍了一种新的生成模型，用于对机器学习分类器进行攻击，并提出了一种生成式对抗网络，包括生成器、鉴别器和目标分类器，以模拟在现实攻击中可以预期的检测限制，进而确定底层数据分布的易受数据中毒攻击的区域。

    Jun, 2019

  • 对抗样本是制造强毒药的因素

    本文研究对数据进行污染的方法，发现对预先训练的模型攻击的对抗性示例比传统攻击方法更有效。在分配正确标签时，对抗性示例包含有用的语义信息，可以用于训练；否则，不能用于训练。该方法与现有方法相比显著提高了安全数据发布的效果，我们发布了毒化版本的 ImageNet（ImageNet-P）以鼓励对这种数据混淆形式的研究。

    Jun, 2021

  • 机器学习操作：回归学习的毒化攻击和对策

    该论文系统研究了线性回归模型中的污染攻击和其对策，提出了一个特定于线性回归的理论优化框架，并设计了一种面对污染攻击高度抗干扰的新型防御方法。

    Apr, 2018

  • 真相血清：毒化机器学习模型揭示它们的秘密

    介绍了一种新的针对机器学习模型的攻击方式，即通过污染训练数据集，导致模型泄露属于其他用户的私人数据。该攻击包括成员推断、属性推断和数据提取等多方面，可能会危及多方面的用户隐私。

    Mar, 2022

  • 人工智能中的毒化攻击与防御：一项调研

    本文综述了机器学习分类器训练中的数据污染攻击的安全漏洞，并介绍了几种可行的检测和缓解机制，比较了不同方法的性能以及固有属性，如可靠性、隐私和可解释性。同时，提供了未来研究方向的参考。

    Feb, 2022

  • 算法公平性的毒化攻击

    我们引入了一种针对算法公平性的优化框架，并开发了一种基于梯度的毒化攻击方法，旨在在数据的不同群体之间引入分类偏差，我们实验性地表明，我们的攻击不仅在白盒环境中有效，特别是在黑盒情况下，也对目标模型有很大影响，我们相信我们的发现为完全新的针对算法公平性在不同场景中的对抗攻击定义铺平了道路，并且研究这些漏洞将有助于未来设计更加稳健的算法和对策。

    Apr, 2020

  • 通过自然语言处理进行的假新闻检测容易受到对抗性攻击

    本文探讨了现有的假新闻检测方法存在的问题，并提出加入事实核查与语言分析相结合的方法，以应对新闻篡改攻击和真实新闻被误判的情况。作者提出采用众包知识图谱解决新闻事件事实搜集的问题。

    Jan, 2019

  • 伪新闻检测模型的对抗性基准测试

    本文提出了一个对抗性基准测试，旨在测试虚假新闻检测器推理现实世界事实的能力，使用 BERT 分类器 fine-tuned 在 LIAR arXiv:arch-ive/1705648 和 Kaggle Fake-News 数据集上，结果显示这两种模型在处理组合语义、词汇关系和修饰符等方面的意思变化上存在失败的情况。这表明虚假新闻检测器需要与其他事实检查方法一起使用。

    Jan, 2022