无先验知识的迁移学习：用稀缺数据和有限资源重新编程黑盒机器学习模型

Jul, 2020

无先验知识的迁移学习：用稀缺数据和有限资源重新编程黑盒机器学习模型

Transfer Learning without Knowing: Reprogramming Black-box Machine Learning Models with Scarce Data and Limited Resources

PDF

Yun-Yun Tsai, Pin-Yu Chen, Tsung-Yi Ho

TL;DR本文提出了一种黑盒对抗重新编程 (BAR) 的新方法来解决转移学习中的数据稀缺和资源受限等问题，该方法利用高性能但未知的机器学习模型来获得学习能力，并在自闭症谱系障碍分类、糖尿病视网膜病变检测和黑色素瘤检测任务中优于现有技术和基线模型，展示了转移学习的新思路和成本效益手段。

Abstract

Current transfer learning methods are mainly based on finetuning a pretrained model with target-domain data. Motivated by the techniques from adversarial machine learning (ML) that are capable of manipulating the model prediction via data perturbations, in this paper we propose a novel

transfer learning black-box adversarial reprogramming zeroth order optimization medical data ml tasks

发现论文，激发创造

模型重编程：资源高效的跨域机器学习

本文介绍了一种名为模型再编程的新技术，通过从源域重新利用和重用开发良好的预训练模型来解决目标域中的任务，从而实现资源高效的跨域机器学习，其方法论、现有应用案例和开放性研究问题等均有详细阐述。

Feb, 2022

使用强化学习的通用分布式基于决策的黑盒对抗攻击

研究在决策类攻击领域提出了像素级决策驱动的黑盒攻击算法，该算法使用增强学习算法找到对抗性扰动分布，经实验证明，与现有技术相比更具攻击成功率和可转移性。

Nov, 2022

机器学习中的可迁移性：从现象到黑盒攻击利用对抗样本

对机器学习模型的黑盒攻击是可能的，即使它们的结构不同。通过生成对抗性样本，并利用受害者模型标记合成训练集，攻击者可以训练出自己的替代模型，并将对抗性样本转移到受害者模型中实施攻击，该方法可以使用新的技术使攻击过程更加有效率，在 Amazon 和 Google 等公司的商业机器学习分类系统中展示了攻击的有效性。

May, 2016

黑盒学习系统中对抗样本的阻断可迁移性

本文提出了一种训练方法来防止黑盒学习系统受到对抗性示例的攻击，该方法通过在输出类集中增加一个 NULL 标签并训练分类器将对抗性示例分类为 NULL 来阻止其可转让性。实验表明该方法能够有效抵御对抗性示例的攻击，同时在干净数据上保持准确度。

Mar, 2017

基于可转移模型嵌入的黑盒对抗攻击

本文提出了一种新的黑盒对抗攻击方法，通过使用预训练模型学习低维嵌入，然后在此嵌入空间内进行高效搜索，从而攻击未知目标网络。该方法能够生成具有高级语义模式的对抗性扰动，易于迁移，可大大提高黑盒对抗攻击的查询效率。作者在 MNIST、ImageNet 和 Google Cloud Vision API 上进行评估，并在 CIFAR10 和 ImageNet 上攻击对抗性防御网络，取得了良好的攻击效果。

Nov, 2019

文本分类神经网络对抗性重编程

本论文介绍一种基于上下文的词汇重映射模型，同时提出了针对该模型的白盒和黑盒训练流程，以实现通过敌对程序将 LSTM 等文本分类模型重新用于其他分类任务。

Sep, 2018

基于相似性映射的神经模型重编程用于低资源口语命令分类

该研究提出了一种新的对抗重编程（AR）方法，用于低资源语音指令识别（SCR），并构建了一个 AR-SCR 系统。实验结果表明，该方法在阿拉伯语和立陶宛语命令数据集上优于现有技术，但在仅有有限训练数据的情况下。

Oct, 2021

对抗性稳健的迁移学习

本文研究如何在数据稀缺或者训练成本较高的情况下，通过对源模型的继承和微调，使得目标模型不仅精度高，而且对抗攻击具有良好的鲁棒性，其中运用到 Transfer Learning， Neural Network Classifiers，Robustness，Lifelong Learning 和 Generalization 等关键词。

May, 2019

WARP: 词级对抗性重新编程

该研究介绍了一种基于敌对重构的迁移学习方法，使用少量的可训参数，包括任务特定的单词嵌入向量，可有效地解决自然语言处理任务并优于现有的方法，同时在少样本情况下也表现出色。

Jan, 2021

基于硬标签的小样本黑盒对抗攻击

提出了一种新的针对硬标签的黑盒攻击的优化方法，利用经预训练的替代模型指导优化过程，实验证明该方法在不同目标模型架构下显著提高了攻击的查询效率，攻击成功率较基准测试提高了约 5 倍，特别是在 100 和 250 个查询预算下。

Mar, 2024