从高维数据（例如图像）中学习概念对于构建与人工智能模型相符且可解释的机器学习模型具有潜力。本研究通过将概念形式化为离散潜在因果变量，并使用嵌入在高维数据中的概念的层次因果模型来提供理论洞见与条件，以促进从无监督数据中学习这些概念的可行性。通过合成数据实验证实我们的理论观点，并讨论了对理解潜在扩散模型的潜在机制的影响，同时提供了相应的经验证据。

Jun, 2024

本文研究从野外单视图图像中无监督地重建 3D 物体的问题。与现有的方法不同，我们通过隐式正则化来限制潜在空间的结构，以捕捉潜在因素的拓扑因果排序（即将因果依赖关系表示为有向无环图），并根据任务依赖性寻找因果因子排序的多种方法。实验表明，潜在空间结构确实作为一种隐式正则化，为重建引入了有益的归纳偏置。

Jul, 2022

在给定描述不同领域 / 分布共享的数据生成过程的因果图的基础上，通过强制执行足够的图推断条件独立性可以确定领域通用（非虚假的）特征表示。针对标准的输入 - 输出预测设置，我们将文献中考虑的图集合分类为两个不同的组：（i）那些在训练领域中的经验风险最小化器给出领域通用表示和（ii）那些不给出的情况。对于后一种情况（ii），我们提出了一个新的具有正则化的框架，该框架在没有关于虚假特征的先验知识（或代理）的情况下证明了足够用于确定领域通用特征表示。在实证方面，我们的提出的方法在（半）合成和真实数据方面表现出色，优于其他最先进的方法的平均和最差领域转移准确性。

Apr, 2024

提出了一个建立在群表示理论基础上的框架，学习环境结构的表示，可确保得到解释性的学习表示，实验表明该方法能够准确地预测物理环境的演化并与表示的解释性呈相关性。

Feb, 2020

该研究通过外显地对深度模型进行规则化，以便人类用户可以快速了解模型预测过程，训练了深度时间序列模型，使其类概率预测具有高准确性，同时又被节点较少的决策树紧密建模。通过直观的玩具示例以及用于治疗脓毒症和艾滋病的医学任务，我们展示了这种新的树规则化方法产生的模型比简单的 L1 或 L2 惩罚更容易被人类模拟，同时不会牺牲预测能力。

Nov, 2017

本文提出一种基于 KL 正则化预期奖励目标的强化学习代理方法，它可以利用先验知识并在解决方案空间中利用可重复使用的结构，同时讨论了在增加潜在变量的情况下如何实现分层结构的不同归纳偏置以及其中的置换学习问题。实验证明，这种代理方法可以应用于不同的连续控制任务中，获得更快的学习和置换效果。

Mar, 2019

本研究提出了一种两级分层目标函数来控制变量块和块内个体变量之间的相对统计独立程度，以通过非监督学习从高维数据中学习无监督表示，实验结果显示该目标函数可以解开离散变量，并提高其他变量的解开程度和泛化能力。

Apr, 2018

本文介绍了一种统一 neuro-symbolic 和 entropy regularization 的框架，并提出了一种神经符号熵正则化损失函数，用于半监督和全监督结构化预测实验中的有效性测试。

Jan, 2022

提出了一种基于 Bayesian 方法的计算模型，用于从基因表达的高通量遗传数据中发现基因之间的局部因果关系。模型的应用结果表明，可以从稳定且保守的局部因果结构后验概率中推导出最有意义的调控关系。

Sep, 2019

在非参数的因果表示学习中，通过稀疏约束和适当的因果影响条件，可以恢复有向无环图的势化图，从而揭示潜在因果模型的潜在变量及其关系的特定且复杂的方式。

Feb, 2024