MMJun, 2022

约束引导梯度下降：不等式约束指导下的训练

PDF
TL;DR本研究提出了约束引导梯度下降 (CGGD) 框架，使得域知识可以注入到神经网络的训练过程中，其中域知识被假定为一组硬不等式约束的连词，相比于其他神经符号方法，该方法使得模型收敛并满足数据集上的任何不等式约束，同时不需要事先将约束转换为某个特定项添加到学习目标中。经实验证明，与先前的工作相比，CGGD 使得训练不再依赖网络的初始化，并提高了所有数据的约束可满足性。
发现论文，激发创造
  • CGDTest: 一种用于测试神经网络的约束梯度下降算法

    该研究提出了一种名为 Constrained Gradient Descent（CGD）方法的新的深度神经网络（DNN）测试算法，并开发了实现称为 CGDTest，旨在揭示 DNN 中的安全性和健壮性问题，如对立攻击健壮性和偏差。该方法不仅可以为测试 DNN 的 Lp ball-based 对抗健壮性指定逻辑约束，还可以包括假面和流对抗约束以及在 NLP 领域的对抗性鲁棒性。在视觉和 NLP 领域进行广泛实验，结果表明该方法在对抗健壮性测试方面优于现有最先进的测试工具，PAR2 分数的改进在某些情况下超过 1500％，并且在表达能力、可扩展性和通用性方面均具有优势。

    Apr, 2023

  • CGD：无人机轨迹规划的约束引导扩散策略

    使用约束引导扩散（CGD）的混合学习 / 在线优化方案，将传统以优化为基础的规划器与模仿学习相结合，生成无碰撞、动态可行的轨迹，以解决计算成本高、动态可行性不明确和适应新约束的问题。

    May, 2024

  • 基于约束的领域知识提升深度学习模型：简要综述

    本文首次综述了将领域知识作为约束条件融入深度学习 (DL) 学习模型的方法，以提高其性能，并针对深度神经网络提出了五种主要的方法，包括特征空间操作、假设空间修改、数据扩增、正则化策略和受约束的学习。

    May, 2020

  • GCISG: 引导式因果不变学习以提高从合成到真实场景的泛化能力

    通过使用因果框架对数据生成进行表征，提出了因果不变性学习的方法，该方法有助于学习抗干扰风格变量的样式不变表示，从而提高了 syn-to-real 的泛化性能。此外，还提出了一种实用的特征蒸馏方法，可以避免遗忘真实领域的语义知识。该方法在图像分类和语义分割等任务上取得了最新的成果。

    Aug, 2022

  • 深度声明网络中梯度近似性的理解

    探讨当忽略约束项时，深层声明节点的梯度可以被近似，仍然产生全局损失函数的下降方向的条件。

    Jun, 2023

  • 渐变正则化对比学习，用于连续领域适应

    本研究旨在解决深度神经网络在动态环境下机器学习算法中的持续领域适应问题。为此，我们提出了 Gradient Regularized Contrastive Learning (GRCL) 并在 Digits、DomainNet 和 Office-Caltech 基准测试中证明了其在比较其他最新方法时的强大性能。

    Mar, 2021

  • 面向域泛化的基于原则的解缠方法

    提出了一种名为 DDG 的方法，利用基于约束的优化形式来处理机器学习模型的泛化问题，并以有限维参数化和经验逼近的方式对其进行简化，同时提出了一种基于原始对偶算法来实现表示分离和域泛化的方法。DDG 方法可以学习到语义概念的内在表示，使其对干扰因素具有不变性，并可以在多个领域中得到良好的 OOU 性能表现。

    Nov, 2021

  • 通过逻辑回归归因匹配实现对比领域泛化

    本文通过引入 Contrastive Domain Generalization（CDG）方法，探究以强对比数据对中的语义不变性来进行域泛化的方法，并提出了一种名为 Logit Attribution Matching（LAM）的正则化技术来实现 CDG，实验结果表明 LAM 的性能优于现有的 DG 方法，并帮助模型更好地聚焦于语义特征，这对于域泛化至关重要。

    May, 2023

  • 渐变正则化对比学习用于连续领域适应

    研究 AI 模型在连续领域适应中所遇到的领域转换和灾难性遗忘等问题，并提出了基于 Gradient Regularized Contrastive Learning 的方法来解决这些问题，实验结果表明该方法在 Digits, DomainNet and Office-Caltech 基准测试中表现优越。

    Jul, 2020

  • 基于梯度的网络输出约束推断

    本文介绍了一种基于梯度的推理方法，用于神经网络的去结构化预测问题，并在句法分析、语义角色标注和序列转换三个任务上进行了测试，该算法不仅满足了约束条件，而且提高了准确性。

    Jul, 2017