无眼泪的DAGs:结构学习的连续优化
通过研究稀疏性和DAG约束的渐近作用,提出了一种基于类似似然函数的求解DAG约束的无约束优化方法,该方法能够在处理成千上万个节点时仍然保持高精度。实验证明,该方法比使用最小二乘法和硬DAG约束的方法更加有效。
Jun, 2020
该研究探讨了用增广Lagrange方法(ALM)和二次惩罚方法(QPM)求解结构学习的连续优化问题,发现ALM的收敛性质在线性、非线性和混淆情况下实际上和QPM相似,在QPM的渐近条件下收敛到有向无环图(DAG)解决方案,并将理论结果与现有方法相连接,验证了实验比较。
Nov, 2020
提出了一种新的有向无环图结构学习算法,通过在等价图势函数梯度集合中搜索来解决优化问题,并使用Hodge分解从一个初始环图中学习无环图,该方法在基准数据集上具有与基线算法相当的准确性和更高的效率。
Jun, 2021
提出一种基于截断矩阵幂迭代的 DAG 学习方法,通过增加高阶多项式系数以逼近 DAG 约束条件。实验结果表明,该方法在各种设置下的性能优于现有的 DAG 学习方法。
Aug, 2022
该研究提出了一种基于对数行列式函数的新型有向无环图(DAG)的无环性描述,该描述利用DAG的幂零属性将其与正定矩阵锥定义的经典对数行列式函数进行了区分。该方法与现有技术相比,对于检测大型循环性更好,在梯度方面更好,并且实际运行时间大约快一个数量级。在数值实验中表明,该方法能够获得较大的速度提升和较小的结构Hamming距离。
Sep, 2022
该论文提出了一种利用连续优化框架从观测数据中发现潜在的有向无环图(DAG)的方法,通过多面体的排列向量优化来学习一个拓扑排序,并可通过非可微子程序的学习和条件排序来优化边缘,实验结果表明了该方法在节点边缘联合优化方面具有优势。
Jan, 2023
本文解决了从节点观测中学习有向无环图(DAG)拓扑结构的问题,现有方法在非凸优化中面临挑战。我们提出了一种基于对数行列式的凸无环性函数的新方法,能够有效地规范边权为非负,从而保证全局最优解,并在无穷样本条件下恢复真实DAG结构。实验结果显示该算法在多个合成数据测试中性能优于现有最先进的方法。
Sep, 2024
本研究解决了有向无环图(DAG)结构学习中的优化难题,尤其是由于DAG约束的非凸性和高计算复杂度带来的挑战。通过引入一种新的随机逼近框架,该方法结合了随机梯度下降(SGD)优化技巧,并设计了高效的投影方法以确保算法能收敛到可行的局部最优解。实验结果表明,该方法在大规模问题上具有显著的计算效率和优越的表现。
Oct, 2024