ICMLApr, 2021

测试时对手存在下交叉熵损失的下限

PDF
TL;DR本文探讨了在存在测试时对抗情况下的分类器损失的最优下限和对应最优分类输出的确定，并使用自适应算法以高效地计算此下限，进而将其作为诊断工具来确定当前鲁棒性训练方法的有效性，并探讨使用最优分类输出作为软标签以经验地改善鲁棒性训练。
robust supervised learningclassifier-agnostic boundscross-entropy losstest-time adversariessoft classifier outputs
发现论文，激发创造
  • 深度神经网络测试表现预测的惊人线性关系

    通过在预训练阶段使用不同程度的 “腐败” 数据或使用不同高斯标准偏差的权重初始化网络，利用交叉熵损失可以使网络产生不同的泛化效果。通过去除交叉熵损失中不涉及期望分类性能的成分，可以建立训练误差和测试误差之间的线性关系，而分类错误与规范化交叉熵损失之间的经验关系似乎是近似单调的。

    Jul, 2018

  • 弱监督分类的下界适当损失

    本文讨论了弱监督分类的问题，介绍了一种名为广义逻辑挤压的正则化方案，该方案能使任何合适的弱标签损失函数在下界处有界，而不丢失合理性，并实验验证了该方法的有效性，结果突出了合理性和保下界的重要性。

    Mar, 2021

  • 利用最优输运对对抗鲁棒性进行下界限制

    本文研究了机器学习分类器对抗样本（躲避攻击）的鲁棒性，使用最优传输来表征在这一场景下可能的最小损失。作者应用该框架研究了高斯数据的情况，并探究了鲁棒性训练神经网络在 MNIST、Fashion MNIST 和 CIFAR-10 数据集上的最优分类性能与实际性能间的差距。

    Sep, 2019

  • 达到最优对抗测试误差

    通过研究最优对抗预测模型的基本性质，以及应用 Rademacher 复杂度的界限，我们证明使用早停和理想的最优对手进行浅层网络对抗训练，可以在一般数据分布和扰动集上实现最优对抗测试误差。

    Jun, 2023

  • 交叉熵损失函数：理论分析与应用

    本文研究了广泛应用的交叉熵损失函数，提出了一族损失函数 comp-sum，包括了交叉熵、广义交叉熵、平均绝对误差等。我们首次给出了这些损失函数的 H - 相容性，进一步介绍了一种新的平滑对抗 comp-sum 损失函数，并证明了它们有助于在对抗性环境下提高模型的 H - 相容性。

    Apr, 2023

  • 计算多类别分类中对抗训练下界的最优输运方法

    利用多边际最优传输 （MOT） 将对抗性风险问题简化为线性规划和熵正则化的数值算法，以提高深度学习模型的鲁棒性。

    Jan, 2024

  • 一种极小极大法用于监督学习

    引入最大熵原理的一般化方法，应用于带有从数据中得出的经验边缘条件的分布集合，提出一种针对监督学习问题的通用 minimax 方法，其中最大熵机是一种新的最小化结构化分布中最坏情况 0-1 损失的线性分类器，并且通过实验表明可以优于其他线性分类器，同时证明了 minimax 方法中的泛化最坏情况误差保证的界限。

    Jun, 2016

  • 有限域上的知识传递的基本限制

    通过特权信息的不同级别，加速从教师到学生分类器的知识传递效率并且使学生能够获得课程上的优势信息。

    Oct, 2023

  • 通过置信度最大化和输入变换对分布偏移进行测试时间适应

    该论文研究深度神经网络在非训练时数据分布下表现不佳的问题，提出一种全测试时间适应的解决方案，通过使用替代熵和添加基于批次的熵最大化的多样性正则化器来解决熵最小化的早期收敛和不稳定性问题，并且可以通过在完全测试时间适应性损失中学习无需目标域标签或源域数据的输入变换模块，从而达到在 ImageNet-C 等挑战性基准测试中提高公共预训练图像分类器鲁棒性的效果。

    Jun, 2021

  • 超越扰动：使用任意敌对测试示例学习保证

    介绍了一种基于跨学科学习和选择性分类器的学习算法，该算法可以适用于没有标签的测试集，同时保证了学习的分类器在测试集上的误差率和拒绝率。

    Jul, 2020