- 全连接前馈神经网络中权重优化的闭式解决方案
该研究针对全连接前馈神经网络的权重优化问题,提出了使用最小二乘法来实现权重优化的方法。这种方法具有闭合形式解,能够在单次迭代中通过反向传播的方式优化每层神经元的权重,并且能够在几次迭代中适应输入到输出映射不是单射的情况。与现有解决方案相比, - 残差网络的 ADMM 训练算法:收敛性、复杂度和并行训练
我们设计了一系列串行和并行的近似点(梯度)ADMM 方法来解决全连接残差网络(FCResNets)训练问题,并引入辅助变量。通过基于 Kurdyka-Lojasiewicz(KL)属性分析框架证明了近似点版本的收敛性,并且可以根据不同的 K - 并行树核计算
本文介绍了一种基于 MapReduce 编程范式实现的并行计算算法,在树内核学习方法中应用广泛的交叉子树核计算的顺序算法基础上,优化计算时间,扩展了算法的适用性。实验表明,并行算法在树语言数据集上的计算效率远高于序列算法。
- 一种统一的云支持零散事件并行分布式仿真架构
本文提出了一种基于 DEVS 形式主义的统一并行和分布式 M&S 架构,具有足够的灵活性,可以在云中部署并行和分布式模拟,而无需修改底层模型源代码,并在并行实现中获得最大 15.95 倍的加速比。
- 提高蚁群算法在解决大规模 TSP 实例中的效率
本研究提出了一种名为 Focused ACO 的 Ant Colony Optimization 变种,通过控制新构建解与先前选择解之间的差异数,实现了更加集中的搜索,同时与问题特定的局部搜索更有效地集成,这在解决大型 TSP 实例方面比现 - 随机变分不等式的简洁优化方法,II:马尔可夫噪声与强化学习策略评估
本文研究了马尔可夫噪声下的随机泛型不等式问题,并提出了用于强化学习中的随机策略评估问题的算法,包括改进的标准 TD 算法和快速 TD 算法等。
- 分布式贝叶斯概率矩阵分解
本篇论文提出了一种分布式高性能并行的 Bayesian Probabilistic Matrix Factorization (BPMF)算法实现方案,并使用了在单节点上的高效负载均衡使用工作窃取和在分布式版本中使用异步通信的方法,超越了现 - 对称非负矩阵分解的非凸分裂法:收敛性分析和最优性
本文提出了一种新的非凸变量分裂方法,用于解决对称非负矩阵分解问题;该方法具有全局亚线性收敛率,能够有效地并行实现,并提供了保证所得解的全局和局部最优性的充分条件。在合成数据和实际数据集上进行的广泛数值实验表明,该算法快速收敛到局部最小解。
- QSGD: 通过梯度量化和编码实现通信高效的 SGD
提出了一种名为 Quantized SGD 的压缩梯度下降的算法,使用该算法可以在降低通信代价的同时保证收敛,且在图像分类和自动语音识别等多个实验中表现优异。
- 在千人神经影像数据集上实现因素分析
本研究比较了两种最近的多主体因子分析方法:Shared Response Model 和 Hierarchical Topographic Factor Analysis,对其进行了分析、算法和代码优化,以实现多节点并行应用的规模化,提供较 - 使用递归图双分法压缩图和索引
本文研究图形重排序技术在图压缩和倒排索引中的应用,提出一种基于递归图二分的新的排序算法,并通过实验展示相较于现有启发式算法,该算法在压缩率上取得了显著的提升,同时实现简便,允许高效的并行和分布式实现。
- ProbReach:用于随机混合系统概率 Delta 可达性验证
ProbReach 是一种用于验证随机混合系统中概率可达性的工具。它采用了 delta - 可达性的弱化概念,并实现了一个适用于混合系统的概率版本,在多个基准测试中表现出令人满意的结果,并且有并行实现的概率。
- 复合最小化问题的近端牛顿框架:无需 Cholesky 分解和矩阵求逆的图学习
提出了一种基于新的近端牛顿算法的凸优化方法,应用于图学习问题中的稀疏逆协方差矩阵估计,避免了矩阵求逆,适合并行实现。
- 贪心顺序极大独立集和匹配在平均情况下是并行的
本文通过研究贪婪顺序算法中迭代间的依赖结构,证明了随机排序后的贪婪最大独立集算法以及贪婪最大匹配算法的依赖深度为对数级别,提出了基于该结论设计的简单线性工作并行算法,该算法能在更高的并行度与更小的工作开销之间平衡,并且保证结果与顺序贪婪算法