Nov, 2023

训练健壮且具有通用性的量子模型

PDF
TL;DR本文研究了基于 Lipschitz 界限的量子机器学习中的对抗鲁棒性和泛化性质，导出了适用于具有可训练编码的量子模型的定制参数相关的 Lipschitz 界限，并展示了数据编码的范数对于抵抗输入数据扰动的鲁棒性具有关键影响。此外，我们导出了一个关于泛化误差的界限，明确取决于数据编码的参数。我们的理论发现提供了一种实用的策略，即通过在代价函数中规范化 Lipschitz 界限来训练鲁棒且具有泛化能力的量子模型。此外，我们表明，对于在量子机器学习中经常使用的固定且不可训练的编码，Lipschitz 界限无法通过调整参数来影响。因此，在训练过程中，可训练编码对于系统地调整鲁棒性和泛化性是至关重要的。通过数值结果的验证，我们展示了 Lipschitz 界限的规范化显著提高了量子模型的鲁棒性和泛化能力。
发现论文，激发创造
  • 对抗性量子机器学习：一种信息论的普遍化分析

    这篇论文研究了对抗训练的量子分类器在受限制的白盒攻击下的泛化特性，通过使用攻击感知的或对抗的损失函数进行训练，对量子对手最大化分类器的损失，得到了对抗训练的量子分类器的集成误差的新的信息理论上限，并验证了理论结果在合成环境中的数值实验。

    Jan, 2024

  • 量子与经典机器学习模型的对抗鲁棒性比较分析

    量子机器学习模型与经典机器学习模型相似和不同的对抗鲁棒性进行了系统调查，使用了传递攻击、扰动模式和 Lipschitz 界限的方法。发现正则化有助于增强量子网络的鲁棒性，对 Lipschitz 界限和传递攻击有直接影响。

    Apr, 2024

  • 利普希茨界和拉普拉斯平滑法可证明的鲁棒训练

    本文提出了一个基于图的学习框架来训练在对抗扰动下具有稳健性的模型，并通过 Lipschitz 约束将对抗性稳健学习问题形式化为损失最小化问题，设计了一个稳健训练方案来收敛到拉格朗日函数的鞍点。 最终通过实验表明，在达到期望的标准表现的同时提高模型的稳健性存在一定的基本下限。

    Jun, 2020

  • 使用 Lipschitz 界限训练鲁棒神经网络

    通过设计一种基于交替方向乘子法的最优化方案来训练多层神经网络，同时鼓励通过保持其利普希茨常数来促进鲁棒性，从而解决基于输入的扰动的效应以及提高神经网络的鲁棒性。该文设计了两个训练程序，最终提供了两个例子来证明这种方法成功地提高了神经网络的鲁棒性。

    May, 2020

  • 使用高效的本地 Lipschitz 界限训练保证鲁棒神经网络

    本文提出了一种训练算法插件，可以有效地减小神经网络的局部 Lipschitz 上界，以提高神经网络的自然精度和可证明的精度之间的权衡，并在 MNIST、CIFAR-10 和 TinyImageNet 数据集上展示了该方法在不同网络结构下均能优于现有的最先进方法。[Simplified Chinese]

    Nov, 2021

  • 关于对抗训练的泛化性质

    本论文研究了一种泛用的对抗训练算法的泛化性能，并考虑了线性回归模型和两层神经网络（使用平方损失）在低维和高维情况下的表现，其中，我们发现数据内插会防止对抗性鲁棒估算器的一致性，因此，我们引入 L1 惩罚，在高维对抗学习中，证明了它可以导致一致的对抗性鲁棒估计。

    Aug, 2020

  • 通过动态边距最大化和改进的 Lipschitz 正则化实现的认证鲁棒性

    通过开发一个鲁棒的训练算法和有效计算神经网络的 Lipschitz 常数的方法，可以直接操控输入空间的决策边界，提高深度分类器对抗性扰动的鲁棒性。在 MNIST、CIFAR-10 和 Tiny-ImageNet 数据集上的实验证实了该算法的竞争性改进。

    Sep, 2023

  • 量子分类器的强健数据编码

    该论文研究了数据编码在量子机器学习模型中的作用，证明了其在决策边界和噪音数据处理中的重要性，并定义了鲁棒数据编码的概念，并提供了数值结果以验证所述发现。

    Mar, 2020

  • 量子共形预测：量子机器学习中可靠的不确定性量化

    该论文提出了一种处理量子机器学习中普遍存在的不确定性的通用方法学，该方法可以在训练数据量有限、量子计算硬件噪声存在的情况下可靠地度量量子模型的不确定，并基于概率共同预测来达到对真实目标的可信度量。

    Apr, 2023

  • 生成模型的可证明利普希茨证书

    提出了一种可扩展的技术，用于上界生成模型的 Lipschitz 常数，该方法使用 zonotope 对可达向量雅可比积的集合进行逐层凸逼近来近似该数量，扩展到具有较大输出维度的神经网络的 Lipschitz 估计，为小网络提供有效和紧密的边界，并可用于采用 VAE 和 DCGAN 结构的生成模型。

    Jul, 2021