lipschitz continuity | BriefGPT

关键词lipschitz continuity

搜索结果 - 39

基于数据驱动的利普希茨连续性：提高对抗鲁棒性的成本有效方法
通过探究 Lipschitz 连续性的概念，该研究提出了一种理论基础和实用解决方案来确保深度神经网络的可靠性，以对抗敌对攻击，在输入中添加几乎不可察觉的扰动来误导网络。我们提出了一种新的算法，将输入域重新映射到受限范围内，减小 Lipsch
PDF8 days ago
在连续空间上学习条件分布
研究的主题是在多维单位盒子上基于样本的学习条件分布，采用聚类方法，在特征空间中的变化查询点附近聚类数据来创建目标空间的经验度量。聚类方案包括基于固定半径球和最近邻的方法，通过收敛速率的上界确定最佳的半径和邻居数量。通过在实践中进行经验分析，
PDF23 days ago
揭示扩散模型的平滑性质：一个高斯混合视角
通过对高斯混合分布的详细研究，我们证明了扩散过程的光滑性质，并得出了与混合分布成分数无关的 Lipschitz 常数和二阶矩的严格上界。最后，我们将分析应用于各种扩散求解器，从而在目标分布和学习分布之间的总变异距离和 KL 散度方面建立具体
PDFa month ago
通过最小体积压缩潜空间
该论文介绍了一种名为最小体积的简单而有效的正则化方法，它可以减少自动编码器所需的潜在维度数量，而无需任何关于数据集固有维度的先验知识。通过证明解码器的 Lipschitz 连续性是其有效性的关键，论文揭示了 PCA 仅是其线性特例的证明，并
PDF2 months ago
基于模型的参数化行动空间强化学习
我们提出了一种新颖的基于模型的强化学习算法 -- 具有参数化动作的动力学学习和预测控制 (DLPA)-- 用于参数化动作马尔可夫决策过程 (PAMDPs)。代理器通过学习参数化动作条件的动力学模型，并使用修改的模型预测路径积分控制进行规划。
PDF3 months ago
在更细粒度上的优化：有界局部次梯度变化视角
这篇文章研究了在有界局部次梯度变化情况下的非光滑优化问题，定义了目标函数的类别，包括传统优化问题中基于目标函数的 Lipschitz 连续性或梯度的 Holder/Lipschitz 连续性的函数，并且包含了既不是 Lipschitz 连续
PDF3 months ago
Lipschitz 可配置马尔可夫决策过程的性能改进界限
研究了满足 Lipschitz 连续性的 Configurable Markov Decision Processes（Conf-MDPs）的性能改进下界。
PDF5 months ago
关于顺序预测中的校准距离
我们研究了一种顺序二进制预测设置，在其中预测者根据校准距离进行评估，该距离定义为预测值与事后完美校准的预测集之间的 L1 距离。我们证明了存在一种预测算法，可以在对手选择的 T 个二进制结果序列上期望实现 O (√T) 的校准距离，证明了校
PDF5 months ago
通过李普希茨正则化实现规模化的零样本机器遗忘
在 AI 和数据法规的合规要求下，从训练的机器学习模型中忘记私人或受版权保护的信息变得越来越重要。在本研究中，我们解决了零样本遗忘的挑战，即一个遗忘算法必须能够在只有训练好的模型和需要被遗忘的数据的情况下移除数据。基于 Lipschitz
PDF5 months ago
梯度下降的非均匀平滑性
该研究介绍了一种局部一阶平滑性 oracle（LFSO），可以用于调整梯度下降方法的步长，从而改善全局和局部收敛性。通过应用 LFSO 于修正的一阶方法，可以在非强凸问题中实现全局线性收敛速度，从而提高了一般（加速）一阶方法的收敛率下界。
PDF8 months ago
再生核希尔伯特空间中的 Lipschitz 与 Hölder 连续性
在这项工作中，我们研究了再生核希尔伯特空间中的 Lipschitz 和 Hölder 连续性，并提供了多个充分条件以及对诱导规定的 Lipschitz 或 Hölder 连续性的再生核的深入研究。除了新结果外，我们还收集了相关的已知结果，使
PDF8 months ago
深层运算网络对于 Lipschitz 算子的逼近速率
我们建立了一类神经深度操作符网络（DON）的普遍性和表达速度上界，这些网络模拟了（子集）可分离希尔伯特空间 X 到 Y 之间的 Lipschitz（或 Hölder）连续映射 G。与之前的工作不同，这些表达速率结果仅需 G 的 Lipsch
PDFa year ago
图嵌入神经网络的图信号分析
本文针对以往工作的不足，引入了一种有意义的图信号相似度度量，提出了一种称为图信号切割距离的相似度度量，证明了 MPNN 可以在图信号度量空间中满足收敛性并得出了二次元情况下相似度度量的性质，进而提出了 MPNN 的泛化界和稳定性。
PDFa year ago
KDD不对称学习率下的解耦理性：一种灵活的李普希茨约束
本研究提出了一种名为 DR 的简单而有效的方法来解决协作游戏中出现的退化问题，它可以自然而灵活地约束预测器的 Lipschitz 常数，该方法通过给生成器和预测器分配不对称的学习率来解耦，并在两个常用的基准测试上进行了一系列实验证明了其有效
PDFa year ago
ICML证明集合：一般具有 S-Lipschitz 的证明理论
介绍了一种称为 S-Lipschitz 分类器的新方法，用于分析集成模型的理论鲁棒性，并给出了集成模型比任何单个分类器更稳健的条件和更不稳健的条件。
PDFa year ago
ICLRLipsFormer：向视觉 Transformer 引入 Lipschitz 连续性
本研究提出了一种 Lipschitz 连续变压器 ——LipsFormer，为基于 Transformer 的模型的稳定训练提供了理论和实证支持。我们尝试通过 Lipschitz 连续性代替传统的不稳定 Transformer 组件模块，包
PDFa year ago
对比表示学习的泛化分析
本文提出了可对比学习的新型概率界，它不依赖于 $k$ 的值，直到对数项。采用实证涵盖数和 Rademacher 复杂性的构造结果，从而利用损失函数的 Lipschitz 连续性，进一步发展了乐观界，并应用于学习线性与非线性表示的深度神经网络
PDFa year ago
ICLR模型集成是否必要？通过具有 Lipschitz 正则化值函数的单个模型实现基于模型的强化学习
本论文通过对 Lipschitz 连续性的解释，提供了两种实用的训练机制，通过计算敌对噪声和规范值网络的谱范数来直接规范价值函数的 Lipschitz 条件。实证结果表明，结合我们的机制，具有单个动态模型的基于模型的 RL 算法优于具有概率
PDFa year ago
ECCVLipschitz 连续性保持的二值神经网络
本文提出了利用 Lipschitz 连续性作为二进制神经网络 (BNN) 模型鲁棒性的准确度量标准，并通过正则化方法，采用保留矩阵来近似目标权重矩阵的谱范数，以强化二进制神经网络的鲁棒性。实验证明，该方法在 CIFAR 和 ImageNet
PDF2 years ago
平滑嵌入证明的少样本学习
本研究将随机平滑技术扩展到映射输入到归一化嵌入的少样本学习模型中，并分析了这些模型的 Lipschitz 连续性，提出了针对有界扰动的鲁棒性证书。
PDF2 years ago