Nov, 2023

通过因果发现和领域知识融合提升神经网络性能

PDF
TL;DR我们提出了一种名为因果感知神经网络（CINN）的通用方法，用于将观测变量之间的层次化因果结构编码到神经网络中，从而提高其预测性能。通过将因果性结构化知识映射到神经网络的逐层设计中，CINN 通过连续优化问题将因果关系发现转化为定向无环图（DAG）学习来系统地从观测数据中发现因果关系，并通过专用架构和定制的损失函数将发现的层次化因果结构编码到神经网络中，实现了中间节点和叶节点的联合学习，显著提高了预测性能。
causality-informed neural networkhierarchical causality structurecausal dagpredictive performancestructural and quantitative causal knowledge
发现论文，激发创造
  • 用多余输入的神经网络学习潜在因果结构

    本文介绍了一种基于深度学习的 RINN 模型，通过直接连接输入和潜在变量，使用修改后的结构和正则化目标函数来解决在高维数据中学习到潜在变量间因果结构的问题，并在模拟实验中验证了该方法的有效性。

    Mar, 2020

  • 深度神经网络的高效在线处理

    本论文致力于提高神经网络的效率，提出了连续推理网络（CIN），它通过自下而上的计算重新组织和适度的架构修改来改善其在线处理效率，并采用 CIN 重构了几种广泛使用的网络架构，包括 3D CNN，ST-GCN 和 Transformer Encoders。另外，通过使用熔接适配器网络和结构修剪，本论文还达到了在使用较少的学习权重的情况下实现卓越的预测准确性的目的。

    Jun, 2023

  • 神经因果表示的摊销学习

    本文提出了一种名为因果关系网络的算法，采用神经网络学习因果模型，并使用连续表示方法表示因果模型，从而更好地处理大量变量和利用先前的知识帮助学习新的因果模型，同时提出一种基于解码的评估指标。在合成数据的测试中取得了高精度和快速适应新因果模型的效果。

    Aug, 2020

  • 高维因果结构的深度学习

    本文提出了一种深度神经体系结构，结合经验数据和先前的因果知识，从而学习变量之间的因果关系，并通过卷积和图神经网络在因果风险框架内提供了一种灵活和可扩展的方法，Empirical results include linear and nonlinear simulations (where the underlying causal structures are known and can be directly compared against)，特别的，在生物医学领域的实验验证结果表明，深度学习方法能够应用于学习包含数千个变量的大规模问题中的因果网络

    Dec, 2022

  • 使用生成式神经网络学习功能因果模型

    本研究介绍了一种名为 Causal Generative Neural Networks (CGNN) 的新方法，它利用神经网络学习观测变量联合分布的生成模型，具有线性复杂度且在三个任务中表现良好，包括因果推断、识别 v-structures 和有条件独立性，以及多变量因果建模。

    Sep, 2017

  • 探索因果学习通过图神经网络：深度综述

    图神经网络 (GNNs) 在因果学习中的应用和发展进行了全面的综述，包括分类和应用等方面，提供了与实际研究相关的数据集，同时探讨了因果学习在不同领域的应用，为机器学习这一快速发展领域的挑战和未来的研究方向提供了启示。

    Nov, 2023

  • 前馈神经网络的因果发现和注入

    本文通过向前馈神经网络注入潜在的因果关系，以保证神经网络模型符合专家知识，从而提高模型在发现因果关系和预测性能方面的鲁棒性和精度。

    May, 2022

  • 引入微小的因果结构进入图表示学习

    在图神经网络的端到端图表示学习中，由于图数据中复杂的因果关系和规则使得模型准确捕捉真实数据关系变得困难。本文提出一种缓解策略，即将与图数据对应的规则或关系直接整合到模型中。然而，在图表示学习领域中，图数据的固有复杂性阻碍了建立一个包含整个数据集的普遍规则或关系的全面因果结构的推导。相反，只有专门的因果结构，揭示了约束子集内的特定因果关系。基于经验见解，我们观察到 GNN 模型在训练过程中收敛于这些专门的因果结构。因此，我们认为引入这些特定的因果结构有助于 GNN 模型的训练。在这一前提下，我们提出了一种新方法，使 GNN 模型能够从这些专门的因果结构中获得洞察力，从而提高整体性能。我们的方法特别从这些特定的因果结构的模型表示中提取因果知识，并引入交换干预来优化学习过程。理论分析证实了我们提出方法的有效性。此外，实证实验在不同数据集上一致地展示了显著的性能改进。

    Jun, 2024

  • 个性化的二项式有向无环图学习与网络结构协变量

    本文研究利用多元计数数据进行因果发现，引入个性化的二项式有向无环图模型以应对用户异质性和观测之间的网络依赖关系，通过将网络结构嵌入到降维协变量中来学习所提出的有向无环图模型，并探索方差 - 均值关系以确定节点的顺序。通过模拟实验证明我们的算法在异质数据上胜过现有的竞争对手，并在实际的网页访问数据集上验证了其实用性。

    Jun, 2024

  • 使用主动干预的神经因果模型学习

    介绍了一种基于 AIT 的方法，可快速识别数据生成过程的基础因果结构。该方法可用于离散和连续优化公式，并在模拟到实际数据的多个基准测试中表现出卓越的性能。(Translation: An AIT-based method is introduced to quickly identify the underlying causal structure of the data-generating process, which is applicable for both discrete and continuous optimization formulations of learning the underlying directed acyclic graph from data, and demonstrates superior performance on multiple benchmarks from simulated to real-world data.)

    Sep, 2021