深层概率模型动力约束

Feb, 2018

Constraining the Dynamics of Deep Probabilistic Models

Marco Lorenzi, Maurizio Filippone

TL;DR本研究提出了一种新颖的深度概率模型的生成式公式，该公式实现了对其函数动态的 “软” 约束。通过随机变分推断建模的函数及其给定阶数的导数受到不等式或等式约束，进而表征模型和约束参数的后验分布，使得所提出的方法可以准确可伸缩地量化预测和所有参数的不确定性。在普通微分方程模型的参数推断和计数数据单调回归问题中，展示了等式约束和不等式约束的应用。该方法在多种实验环境中进行了广泛测试，并在具有挑战性的建模应用中取得了非常有竞争力的结果，同时提供了高度的表达性、灵活性和可伸缩性。

Abstract

We introduce a novel generative formulation of deep probabilistic models implementing "soft" constraints on their function dynamics. In particular, we develop a flexible methodological framework where the modeled functions and derivatives of a given order are subject to inequality or e

deep probabilistic models soft constraints stochastic variational inference parameter inference monotonic regression

发现论文，激发创造

基于物理先验的深度生成模型

应用深度生成模型通过物理学定理来传递极高复杂物理系统中的不确定性。我们构建出一个隐式变分推断公式，并顺利地运用物理学原理作为模型输出的约束条件。这让模型在面对高成本数据采集以及通常小型训练数据集的物理系统建模时具备了一种可扩展的方法来描述随机输入或观测和物理系统输出的不确定性，并以传输动态为规范示例来验证了方法的有效性。

Dec, 2018

线性不等式约束下的有限维高斯近似

通过引入不等式约束条件，我们可以采用有限维高斯方法来处理线性不等式集，并探索使用马尔可夫链蒙特卡洛技术来近似后验分布，研究了关于协方差参数估计的约束似然函数的理论和数值特征。实验证明基于哈密顿蒙特卡洛取样器的全框架能够提供有效的数据拟合和不确定性量化结果。

Oct, 2017

深度概率模型的验证

该文章提出了一种验证深度概率模型的新框架，在模型输出过程中采样潜在变量并考虑其所需的条件输入，以高概率满足线性约束，并能够有效地验证功能空间中感兴趣的属性（单调性、凸性）

Dec, 2018

使用重量约束随机动力学进行更好的训练

本研究介绍了一种通过引入定制化约束条件来减少神经网络权重梯度消失或爆发问题、提高分类边界的平滑性以及稳定深度神经网络，从而增强训练算法的稳健性和神经网络的泛化能力的方法。同时，还通过平衡重要性的 SG-MCMC 方法将这些约束条件有效地整合到一个随机梯度 Langevin 模型中，进一步探索损失函数的空间。值得注意的是，这些优化方式不需要适应神经网络体系结构设计选择或修改目标函数的正则化项，并且在分类任务中显示出较好的性能表现。

Jun, 2021

具有软不等式约束和单调性约束的高斯过程回归

引入了一个新的高斯过程模型，该模型通过量子启发的哈密顿蒙特卡罗方法来强制约束物理条件，从而提高准确性并减小方差。实验证明，在多个数据集上，该方法加速采样过程并保持准确性，适用于高维问题。

Apr, 2024

具有函数约束的变分不等式问题的原始方法

本研究提出了一个简单的原始方法，称为约束梯度法（CGM），以解决具有功能约束的变分不等式问题，并建立了非渐近收敛性分析，同时利用基于二次规划的更便宜的预算。

Mar, 2024

无需标记数据的高维代理建模和不确定性量化的物理约束深度学习

提出一种基于物理约束深度学习的建模和不确定性量化方法，避免深度学习在小样本问题上的跨度不足，可以用于偏微分方程系统的解决和预测推断，并提供一些解释和量化手段。

Jan, 2019

无穷维模型中约束函数参数的统计学习及其在公平机器学习中的应用

通过统计函数镜头研究约束统计机器学习的一般问题，特别是在算法公正和机器学习领域变得越来越重要，我们考虑在特定实值函数参数等于零或受限的约束下学习一个感兴趣的函数值参数。结果表明，可获得约束参数的封闭解，从而揭示了公正预测模型的驱动机制。同时，我们提出了构建公正的机器学习算法的估计过程，该过程可以与任何统计学习方法和现成软件结合使用。

Apr, 2024

基于专家模型的物理约束扩展

通过使用 Mixture-of-Experts (MoE)，我们开发了一种可扩展的方法来强制执行硬物理约束，以增强神经 PDE 求解器在预测挑战性非线性系统动力学方面的准确性，并改善训练稳定性以及在训练和推断阶段所需的计算时间。

Feb, 2024

可微生成模型的渐近精确推断

该研究介绍了一种在观测条件下，对生成模型进行高效的 MCMC 推断的方法。使用基于哈密顿蒙特卡罗的常约束变体来利用流形的平滑几何，无需近似贝叶斯计算，从而进行精确的推断。

May, 2016