我们对神经网络模型学习算法进行了分类，并提出了一种新的算法来整合主任务信息和约束注入，同时提出了 $Heta$-score 作为度量主任务度量和约束违规的指标，在自然语言推理、合成传导示例和语义角色标记等自然语言处理任务上探索和揭示了各种算法达到高 $Heta$-scores 的关键因素。

Jun, 2024

比较了使用输出结构梯度下降和神经网络推断两种方法在三个序列标注数据集上的性能，发现使用推断网络的速度和准确度均优于梯度下降法，且在相似精度下较准确的推断速度更快。结论表明，这两种方法的结合有利于提高性能。

Apr, 2019

本文提出了一种新的序列预测模型 —— 生成式桥接网络 (GBN)，GBN 引入了一个桥接模块来辅助生成模型的训练，将点预测扩展到一个基于条件概率的桥接分布上，并最小化生成模型与桥接分布的 KL 散度，结果表明，针对语言模型、抽象文本摘要等任务，我们提出的 GBN 模型均具有显著的性能提升。

Jun, 2017

本文提出了一种方法，通过非欧几里得的投影梯度下降，并使用 Bethe 熵作为距离产生函数，以捕获强大的潜在变量的非局部统计信息，同时维持可钦定的快速推理性能，以判别地学习广泛的推理目标，并将该方法应用于结构化引用提取、手写识别和集体图模型中。

Mar, 2015

提出了几何信息神经网络（GINN）的概念，该网络涵盖了在几何约束下的学习、神经场作为合适的表示以及在几何任务中遇到的欠定系统的多样化解决方案生成。 GINN 公式不需要训练数据，并且可以被认为是完全由约束驱动的生成建模。 将显式多样性损失添加到减轻模式崩溃。 考虑到几何成分的连通性等多种约束，并通过莫尔斯理论将其转化为可微的损失。 通过实验证明了 GINN 学习范式在二维和三维场景中的有效性，场景复杂性逐渐增加。

Feb, 2024

在机器学习中，先验知识和符号规则通常以标签约束的形式表达，本文比较了两种常见的将标签约束编码到机器学习流程中的策略，即带约束的正则化和约束推断，并通过量化它们对模型性能的影响。通过正则化，作者表明它通过排除与约束不一致的模型来缩小泛化差距，但其偏好小违规限制了模型朝着最优模型的方向发展。另一方面，通过约束推断，作者展示了它通过修正模型的违规行为来降低总体风险，并将违规行为转化为优势。鉴于这些差异，作者进一步探索了同时使用两种方法的可能性，并提出了约束推断条件以弥补正则化引入偏差的问题，以提高模型的复杂度和最优风险。

Jul, 2023

本论文研究了层次贝叶斯网络和具有随机隐藏单元的神经网络，表明通过在潜在变量的中心化和可微非中心化参数化之间切换，这两种类型的模型可以相互转换，并且给出了各种参数化的优缺点及推断方法。在非中心形式中，可以使用简单的蒙特卡洛估计器来学习参数。理论结果得到了实验证实。

Feb, 2014

本研究提出了约束引导梯度下降 (CGGD) 框架，使得域知识可以注入到神经网络的训练过程中，其中域知识被假定为一组硬不等式约束的连词，相比于其他神经符号方法，该方法使得模型收敛并满足数据集上的任何不等式约束，同时不需要事先将约束转换为某个特定项添加到学习目标中。经实验证明，与先前的工作相比，CGGD 使得训练不再依赖网络的初始化，并提高了所有数据的约束可满足性。

Jun, 2022

本文提出了一种基于贝叶斯学习规则的方法来解决训练二进制神经网络的有限制的问题。该算法不仅能够获得最先进的性能，而且还能够估计不确定性以避免灾难性遗忘。

Feb, 2020

本文介绍了一个基于约束的机器学习模拟框架，使用图神经网络实现约束函数，并通过求解优化问题计算未来预测，可应用于多种具有挑战性的物理领域，提供了传统模拟和数值方法的归纳偏差。

Dec, 2021