从对数损失分数中推断标签

ICMLMay, 2021

Label Inference Attacks from Log-loss Scores

Abhinav Aggarwal, Shiva Prasad Kasiviswanathan, Zekun Xu, Oluwaseyi Feyisetan, Nathanael Teissier

TL;DR本文探讨了如何从单个（或多个）log-loss 得分中推断数据集的标签，我们通过引入数论和组合数学的思想提出了对抗性侦查方法进行实验模拟，可成功推断数据集的标签。

Abstract

log-loss (also known as cross-entropy loss) metric is ubiquitously used across machine learning applications to assess the performance of classification algorithms. In this paper, we investigate the problem of in

log-loss cross-entropy loss label inference number theory combinatorics

发现论文，激发创造

利用负对数损失的预言者攀升 Kaggle 排行榜

本文通过攻击数据挖掘比赛中的 Oracle 来推断出测试集中的部分 Ground truth，并在 Kaggle 竞赛中证明了这一攻击的有效性和可行性。同时，本文还推导了一个关于批处理大小的上限，并给出了一个可以攻击包含未知标签子集的数据集的攻击方法。

Jul, 2017

仅标签成员推断攻击

本文介绍了一种基于标签的会员推理攻击方法，通过对模型预测标签进行扰动来获取精细的成员信号，该攻击未被置换机密度分数的防御措施所挫败，仅采用差分隐私和（强）L2 正则化等防御策略才能有效地抵御所有攻击。

Jul, 2020

可信度排序的学习

通过采用基于边界的损失，研究者展示了上下文编码策略的改进方式，在一系列共享的自然语言理解任务中取得了更好的表现。

Jun, 2019

通过逻辑调整实现长尾学习

本文介绍了两种简单的技术对抗现实场景中数据标签分布的不平衡性，包括采用标签频率进行 logistic 校准以及在训练过程中强制实施其中之一或两种技术能够鼓励罕见标签与支配标签之间拥有一个相对较大的罕见标签较大的标签在一些学习情况中具有更好的表现。

Jul, 2020

标签曝光中的成员信息泄漏

本文提出了基于决策的成员推理攻击方法，证明了仅利用标签信息的模型也容易受到成员泄漏攻击，并且开发了两种决策攻击类型：转移攻击和边界攻击。最后，我们评估多种防御机制，并展示了我们提出的两种攻击方式可以绕过大部分防御。

Jul, 2020

弱监督分类的下界适当损失

本文讨论了弱监督分类的问题，介绍了一种名为广义逻辑挤压的正则化方案，该方案能使任何合适的弱标签损失函数在下界处有界，而不丢失合理性，并实验验证了该方法的有效性，结果突出了合理性和保下界的重要性。

Mar, 2021

标签损失：通过直接损失构建进行弱监督学习

本文提出一种基于 (heuristics) 启发式规则构造损失函数 (loss functions) 的弱监督学习 (weak supervision) 方法，命名为 'Losses over Labels (LoL)'，可以更多地利用启发式规则中专家知识和判断依据进行训练，有效提高文本和图像分类任务中的性能。

Dec, 2022

对数损失函数的基本性质

该论文研究了概率预测中的标准损失函数，发现对于任何计算损失函数，log 损失函数都是最具选择性的，并讨论了其优化算法的特征。

Feb, 2015

关于成功和简单性的再探：可传递的有针对性攻击

通过发现简单易用的可转移攻击可以取得很高的目标转移性能，本文提出了新的针对传输设置的评估方法，并显示了使用 logit loss 方法生成目标通用对抗扰动的有效性。

Dec, 2020

仅标签的模型反演攻击：需要最少信息的攻击

该研究论述了利用模型输出对数据记录进行逆推的方式，给出了基于置信度分数向量和目标模型参数的黑盒和白盒攻击方法，提出了一种仅需要标签输出就能成功逆推的新攻击方法，该方法利用目标模型的错误率计算数据记录到决策边界的中位数距离，生成置信分数向量并重构数据记录。实验结果表明相较于现有方法，我们的方法需要更少的信息即可成功重构高度可识别的数据记录。

Mar, 2022