Apr, 2023

连续优化结构学习：审慎地观察和开拓

HTML
PDF
TL;DR本研究探讨了连续优化在有向无环图结构学习中表现良好和表现不佳的情况及原因，并提供了可能的改进方向。研究发现，非等噪声方差情况下存在非凸性问题，而连续结构学习的最新进展未能在此情况下实现改进。因此，未来研究应考虑非等噪声方差以处理更广泛的设置并进行更全面的实证评估。
发现论文，激发创造
  • 无眼泪的DAGs：结构学习的连续优化

    本文提出了一种基于优化问题的连续方法，来解决结构学习问题，避免了组合约束，并有效地提高算法效率。该方法在没有强加任何结构假设的情况下，优于其它现有方法。

    Mar, 2018

  • 不强制无环的情况下学习有向无环图(DAGs)

    本文章通过L1正则化优化的稀疏矩阵分解方法，得到逼近DAG的图结构，避免了传统结构学习算法在组合复杂度方面的缺陷。

    Jun, 2020

  • 低秩有向无环图与因果结构学习

    通过利用有向无环图(DAG)因果模型的低秩假设，本文提出了一种新的方法来缓解在高维度设置中学习表示DAG的因果结构的问题，提供了图形条件和现有方法的适应性，并提供了经验证据支持低秩算法的实用性。

    Jun, 2020

  • 关于稀疏性和DAG约束在学习线性DAG中的作用

    通过研究稀疏性和DAG约束的渐近作用，提出了一种基于类似似然函数的求解DAG约束的无约束优化方法，该方法能够在处理成千上万个节点时仍然保持高精度。实验证明，该方法比使用最小二乘法和硬DAG约束的方法更加有效。

    Jun, 2020

  • 连续约束优化在结构学习中的收敛性

    该研究探讨了用增广Lagrange方法(ALM)和二次惩罚方法(QPM)求解结构学习的连续优化问题，发现ALM的收敛性质在线性、非线性和混淆情况下实际上和QPM相似，在QPM的渐近条件下收敛到有向无环图(DAG)解决方案，并将理论结果与现有方法相连接，验证了实验比较。

    Nov, 2020

  • 无环DAG: 一种高效的有向无环图结构学习方法

    提出了一种新的有向无环图结构学习算法，通过在等价图势函数梯度集合中搜索来解决优化问题，并使用Hodge分解从一个初始环图中学习无环图，该方法在基准数据集上具有与基线算法相当的准确性和更高的效率。

    Jun, 2021

  • 可微贝叶斯结构学习中的拓扑排序与保证无环约束

    通过结合拓扑排序的知识，我们提出了一种用于限制生成图的无环性的替代方法，该方法可以降低推理复杂度，同时确保生成的图的结构是无环的，并在模拟和真实数据的实证实验中表现优于相关的基于贝叶斯评分的方法。

    Sep, 2023

  • 无约束结构学习与平滑无环定向

    COSMO是一种无约束的连续优化方案，用于无环结构学习，通过参数化的优先级向量定义可微分的方向矩阵的近似，能够以渐近更快的速度收敛到无环解，且在图结构重建方面相比其他方法表现优异。

    Sep, 2023

  • 非负加权有向无环图结构学习

    本文解决了从节点观测中学习有向无环图（DAG）拓扑结构的问题，现有方法在非凸优化中面临挑战。我们提出了一种基于对数行列式的凸无环性函数的新方法，能够有效地规范边权为非负，从而保证全局最优解，并在无穷样本条件下恢复真实DAG结构。实验结果显示该算法在多个合成数据测试中性能优于现有最先进的方法。

    Sep, 2024

  • $ψ$DAG：用于DAG结构学习的投影随机逼近迭代

    本研究解决了有向无环图（DAG）结构学习中的优化难题，尤其是由于DAG约束的非凸性和高计算复杂度带来的挑战。通过引入一种新的随机逼近框架，该方法结合了随机梯度下降（SGD）优化技巧，并设计了高效的投影方法以确保算法能收敛到可行的局部最优解。实验结果表明，该方法在大规模问题上具有显著的计算效率和优越的表现。

    Oct, 2024