Sep, 2023

CoLA：利用组合结构进行自动和高效的数值线性代数

PDF
TL;DR该研究提出了一种名为 CoLA（组合线性代数）的大规模线性代数问题的简单而通用的框架，通过将线性操作符抽象与组合调度规则相结合，CoLA 自动构建了内存和运行时高效的数值算法，同时提供内存高效的自动微分、低精度计算和 JAX 和 PyTorch 的 GPU 加速，还通过多重调度在下游包中允许新对象、操作和规则。CoLA 可以加速许多代数操作，同时使得原型化矩阵结构和算法变得简单，可适用于几乎任何需要线性代数的计算任务。我们展示了它在包括偏微分方程、高斯过程、等变模型构建和无监督学习在内的广泛应用中的有效性。
machine learninglinear algebracolanumerical algorithmsgpu acceleration
发现论文，激发创造
  • COLA：分散式線性學習

    该论文介绍了分散式机器学习的新算法 COLA，该算法具有强大的理论保证和优越的实用性能，克服了现有方法的许多限制，并在数据和参与设备发生变化时实现通信效率、可扩展性、弹性和韧性。

    Aug, 2018

  • 自动求导的线性代数

    介绍了如何将一些矩阵分解运算（如 Cholesky、LQ 和对称特征值分解）实现为可微分操作符，并将其在 MXNet 上实现。这使得许多基本的机器学习原语（如高斯过程、最小二乘估计、主成分分析和卡尔曼平滑）易于实现并与深度神经网络（DNN）相结合，优化效率和运行时间。

    Oct, 2017

  • 使用 COLA 以十个简单步骤解决大规模结构

    采用 COmoving Lagrangian Acceleration (COLA) 方法生成大型模拟的精确模拟半宇宙后的大规模结构，显著提升了运算速度并保持了大尺度的准确性，并生成了高质量的假生态圈目录，提供详细的误差分析，以便进行正在进行的和未来的 LSS 调查研究。

    Jan, 2013

  • 学习代数重组以进行组合推广

    本文提出 LeAR 模型作为神经模型的一种解决方案，为语义解析任务中的组成归纳学习代数重组提供了一种方法。

    Jul, 2021

  • 学习组合 Koopman 算子用于基于模型的控制

    本文提出了使用图神经网络对对象进行编码，使用分块的线性转移矩阵来规范化对象之间的共享结构，从而学习组合型 Koopman 操作符，以实现非定常系统的建模与控制。我们的实验结果表明，与现有的基线相比，所提出的方法具有更好的效率和泛化能力。

    Oct, 2019

  • CoCoA: 通信高效分布式优化框架

    CoCoA 是一种分布式计算框架，适用于机器学习和信号处理中的大型数据集，拓展到包括 L1 正则化问题等非强凸正则化器，采用一种新的方法来处理非强凸正则化器和非光滑损失函数，具有明显优于现有方法的性能。

    Nov, 2016

  • 视觉语言模型的组合克罗内克上下文优化

    通过应用 Compositional Kronecker Context Optimization (CK-CoOp) 方法，可以学习到紧凑且具有良好领域适应性和跨任务泛化能力的上下文，以提升图像识别任务的性能，同时具有更少的可学习参数和高效的训练及推理速度。

    Mar, 2024

  • 矩阵的灵活多层稀疏逼近及其应用

    该论文介绍了一种算法，旨在通过将相应矩阵近似因式分解为少量稀疏因子，降低应用高维线性算子的复杂度，该方法依赖于近期非凸优化的进展，首先进行详细的解释和分析，然后在字典学习图像去噪和逆问题中展示实验效果。

    Jun, 2015

  • CoLoRA：基于连续低秩自适应的参数化偏微分方程简化隐式神经建模

    该论文介绍了基于连续低秩适应（CoLoRA）的简化模型，该模型对给定的偏微分方程进行预训练，并通过持续时间中的低秩权重的连续调整来快速预测新物理参数和新初始条件下解场的演化。CoLoRA 的适应性可以是纯数据驱动的，也可以通过基于方程的变分方法来提供伽辽金最优近似。由于 CoLoRA 在时间上本地逼近解场，权重的秩可以保持较小，这意味着只需要少量离线训练轨迹，因此 CoLoRA 非常适用于数据稀缺的情况。与传统方法相比，使用 CoLoRA 进行预测速度快数个数量级，而且其准确性和参数效率相对于其他神经网络方法更高。

    Feb, 2024

  • 机器学习中的随机数值线性代数的最新和即将发展

    随机数值线性代数（RandNLA）在大矩阵的机器学习和数据分析应用中发挥着重要作用，本文提供了 RandNLA 的综合概述，以应对近期的理论和实践挑战。

    Jun, 2024