ICMLFeb, 2020

通过并行非线性方程求解加速前馈计算

PDF
TL;DR本文章提出了使用 Jacobi 或 Gauss-Seidel 定点迭代方法来并行化前馈计算任务，以实现在神经网络评估和自回归模型采样等机器学习任务中的加速。实验表明，该方法在加速反向传播和评估 DenseNets 和 autoregressive sampling 任务中具有高效性，并在不同设置下显示出 2.1 至 26 倍的加速因子。
feedforward computationparallel computingjacobi methodgauss-seidel methodneural networks
发现论文，激发创造
  • 增强式人工智能迭代求解器用于加速大规模参数化系统的解决方案

    该论文基于最新的机器学习工具，提供了一种定制的迭代求解器，结合代数多重网格方法和 proper orthogonal decomposition（POD-2G），能够在任意所需精度下，求解大规模参数化问题中的线性方程系统。

    Jul, 2022

  • 对序列长度进行非线性顺序模型的并行化

    通过并行算法提高 GPU 评估顺序模型的速度，解决传统顺序模型训练速度缓慢的问题，加快训练速度同时保持输出准确性，使得非线性顺序模型在长序列问题中具备潜力。

    Sep, 2023

  • 利用神经网络提高流体力学仿真的伪时间步收敛性

    使用伪瞬态延续方法和神经网络模型增强非线性收敛性能的计算流体力学研究。

    Oct, 2023

  • 用于非线性动力学的快速神经混合牛顿求解器

    基于算子学习的混合牛顿法被提出来加速解决具有非线性时间步问题的刚性非线性时间演化方程组的求解过程。

    Jul, 2024

  • 偏线性分解：多智能体系统的并行优化

    本文通过提出一种新的分解框架，开发了一类 Jacobi 最佳响应算法，提取出一种动态定价机制，并构建了一个易于特定应用的框架，以优于现有方法的效率解决分布式优化领域的一般非凸总效用函数问题。

    Feb, 2013

  • 一种数据驱动的微分方程计算加速机器学习框架

    提出了一种机器学习框架，将时间依赖的 ODE 和 PDE 重新表示为人工神经网络，经过离线训练调整参数，通过数值实验展示了相比标准数值方法更高的计算效率。

    Jul, 2018

  • 一种基于学习增强的拟牛顿法用于交流潮流最优功率流计算

    本文提出了一种基于机器学习的拟牛顿方法，使用深度神经网络进行迭代更新，能够快速找到交流 OPF 近似解，并消除了计算雅各比矩阵或近似雅各比矩阵的必要性。

    Jul, 2020

  • 具收敛保证的解耦并行反向传播算法

    我们提出了一种去耦合的并行反向传播算法，利用延迟梯度解除了反向锁定，保证了深度学习的优化收敛性，并在标准数据集上展示了该算法的实验结果。

    Apr, 2018

  • 神经网络定点加速法用于凸优化

    本文提出了一种利用神经网络进行优化加速的方法，该方法结合了元学习和经典的加速方法，能够自动学习加速目标问题，从而提高计算速度和精度，并成功将该方法应用于解决凸锥规划问题。

    Jul, 2021

  • 模拟非线性电阻网络的快速算法

    为了能够实现高效能的人工智能系统，电阻网络作为传统基于 GPU 的神经网络的替代方法备受关注。这些网络利用电路的物理性质进行推理，并可以通过平衡传播等本地训练技术进行优化。尽管电阻网络在功耗方面具有潜在优势，但高效模拟这些网络的挑战一直是评估其可扩展性的重要瓶颈。我们提出了一种基于理想电路元件的非线性电阻网络模拟方法，将其构建为带有线性不等式约束的二次规划问题，并使用快速、准确的坐标下降算法进行求解。我们的模拟方法在性能上远远超过现有基于 SPICE 的模拟方法，使得可以进行规模更大、速度更快的网络训练，网络尺寸与时代持续时间的比值提高了 50,000 倍。我们的方法可适用于其他电气元件，有望在非线性电路网络模拟方面推动更快的进展。

    Feb, 2024