Apr, 2023

连续优化结构学习：审慎地观察和开拓

PDF
TL;DR本研究探讨了连续优化在有向无环图结构学习中表现良好和表现不佳的情况及原因，并提供了可能的改进方向。研究发现，非等噪声方差情况下存在非凸性问题，而连续结构学习的最新进展未能在此情况下实现改进。因此，未来研究应考虑非等噪声方差以处理更广泛的设置并进行更全面的实证评估。
continuous optimizationdag structure learningnon-equal noise variancesnonconvexitysearch procedure
发现论文，激发创造
  • 无眼泪的 DAGs：结构学习的连续优化

    本文提出了一种基于优化问题的连续方法，来解决结构学习问题，避免了组合约束，并有效地提高算法效率。该方法在没有强加任何结构假设的情况下，优于其它现有方法。

    Mar, 2018

  • 可微贝叶斯结构学习中的拓扑排序与保证无环约束

    通过结合拓扑排序的知识，我们提出了一种用于限制生成图的无环性的替代方法，该方法可以降低推理复杂度，同时确保生成的图的结构是无环的，并在模拟和真实数据的实证实验中表现优于相关的基于贝叶斯评分的方法。

    Sep, 2023

  • 连续约束优化在结构学习中的收敛性

    该研究探讨了用增广 Lagrange 方法 (ALM) 和二次惩罚方法 (QPM) 求解结构学习的连续优化问题，发现 ALM 的收敛性质在线性、非线性和混淆情况下实际上和 QPM 相似，在 QPM 的渐近条件下收敛到有向无环图 (DAG) 解决方案，并将理论结果与现有方法相连接，验证了实验比较。

    Nov, 2020

  • 无环 DAG: 一种高效的有向无环图结构学习方法

    提出了一种新的有向无环图结构学习算法，通过在等价图势函数梯度集合中搜索来解决优化问题，并使用 Hodge 分解从一个初始环图中学习无环图，该方法在基准数据集上具有与基线算法相当的准确性和更高的效率。

    Jun, 2021

  • 低秩有向无环图与因果结构学习

    通过利用有向无环图 (DAG) 因果模型的低秩假设，本文提出了一种新的方法来缓解在高维度设置中学习表示 DAG 的因果结构的问题，提供了图形条件和现有方法的适应性，并提供了经验证据支持低秩算法的实用性。

    Jun, 2020

  • 从动态图中学习有向无环图结构

    本研究探讨了动态图数据上节点特征生成机制的学习问题，并提出了一种连续得分优化方法，名为 GraphNOTEARS，该方法有效地刻画了节点特征生成过程中的同时关系和时滞交互关系之间的 DAG 结构，可以在一个简洁的方式下展现特征生成过程。实验表明，该算法在模拟数据方面表现优异，并能够学习到来自真实世界数据集的节点之间的联系。

    Nov, 2022

  • 无约束结构学习与平滑无环定向

    COSMO 是一种无约束的连续优化方案，用于无环结构学习，通过参数化的优先级向量定义可微分的方向矩阵的近似，能够以渐近更快的速度收敛到无环解，且在图结构重建方面相比其他方法表现优异。

    Sep, 2023

  • 关于稀疏性和 DAG 约束在学习线性 DAG 中的作用

    通过研究稀疏性和 DAG 约束的渐近作用，提出了一种基于类似似然函数的求解 DAG 约束的无约束优化方法，该方法能够在处理成千上万个节点时仍然保持高精度。实验证明，该方法比使用最小二乘法和硬 DAG 约束的方法更加有效。

    Jun, 2020

  • 可识别异方差噪声模型下的因果发现

    基于连续优化框架通过引入松弛且可实现的充分条件，证明了一类可辨识的结构方程模型 (SEM)，在此基础上提出了一种新颖的有法考虑噪声方差变异的 DAG 学习方法，并设计了一个有效的两阶段迭代算法来解决优化困难，实现对具有异方差变量噪声和不同方差的数据的因果 DAG 学习。在合成数据和实际数据上，实验结果显示该方法明显优于现有方法。

    Dec, 2023

  • 基于梯度的神经 DAG 学习

    本文提出了一种基于得分的方法，利用神经网络在连续约束优化理论的基础上，允许处理变量之间的非线性关系，用于学习有向无环图，相对于其他连续优化方法，这种方法在很多任务上表现更好，在因果推断的重要度量上与现有的贪婪搜索方法相比具有竞争力。在合成存储和真实世界数据集上进行了试验。

    Jun, 2019