通过构建 LILA 基准测试，我们提出了一种旨在评估和改进人工智能系统在数学推理领域中表现的方法，并发现多任务学习可以显著提高性能，在一般数学推理和理解方面还有提高的余地。

Oct, 2022

本文提出了一个称为 Tensor of List (ToL) 的统一计算模型，其提供了广义表达能力和一组简洁的原始操作符以用于高级算法设计。ToL 通过五种原子计算操作，能够以有限组合的方式表示任何基本计算，加上在 ToLang 中提供的一组原始操作符，可用于编程复杂的大数据和人工智能算法。我们还讨论了 ToL 的性能评估，其中包括一个内置计算度量标准 —— 基本操作数（EOPs）和 FLOPs 之间一个小误差范围的一致性。

Dec, 2022

该研究提出了一种名为 CoLA（组合线性代数）的大规模线性代数问题的简单而通用的框架，通过将线性操作符抽象与组合调度规则相结合，CoLA 自动构建了内存和运行时高效的数值算法，同时提供内存高效的自动微分、低精度计算和 JAX 和 PyTorch 的 GPU 加速，还通过多重调度在下游包中允许新对象、操作和规则。CoLA 可以加速许多代数操作，同时使得原型化矩阵结构和算法变得简单，可适用于几乎任何需要线性代数的计算任务。我们展示了它在包括偏微分方程、高斯过程、等变模型构建和无监督学习在内的广泛应用中的有效性。

Sep, 2023

通过例子，Transformer 可以学习执行数字计算。作者从基本矩阵操作到特征值分解和求逆，研究了线性代数的九个问题，并引入和讨论了四种编码方案以表示实数。通过使用随机矩阵训练的 Transformers 在所有问题上都能达到高的准确度，并且它们的模型对噪声具有鲁棒性，在训练分布之外也具有泛化能力。特别是，针对 Laplace 分布的特征值进行训练的模型对不同类别的矩阵具有泛化能力：Wigner 矩阵或具有正特征值的矩阵。反之则不成立。

Dec, 2021

探究了基于常见矩阵操作和线性代数的矩阵操作形式语言 MA​TLANG 的表达能力，可以用矩阵求逆操作计算有向图的传递闭包，但不可能未经求逆操作就实现。

Sep, 2017

本文介绍了一些概率算法，来完成线性代数计算，如矩阵分解和线性系统求解，覆盖了在实际问题中得到证明的技术和理论知识，包括规范估计，采样的矩阵逼近，线性回归问题，低秩逼近，亚空间迭代和 Krylov 方法，误差估计和自适应性，插值和 CUR 分解，Nystrom 逼近以及核矩阵的逼近等等，特别适用于机器学习和科学计算。

Feb, 2020

本论文提出了一个名为 Turing 的自然语言数据库交互系统，通过开发跨域语义解析器和新的值预测方法，其执行准确率可以达到 75.1%，前 5 个候选项中预测准确率可达 78.3％。此外，我们设计了一个交互式系统，可以逐步以自然语言解释 Beam 中的 SQL 假设，使用户可以比较和判断哪个反映了他们的意图。

Jun, 2021

本文介绍了一种用于处理几何数据的通用框架 ——Geometric Algebra Transformer (GATr)，它能够高效地表示常见几何物体及其运算符，并能够保持几何物体的对称性，经实验表明其在 n-body modeling 和机器人规划方面的表现明显优于无几何基线模型。

May, 2023

从粒子物理实验中提取科学理解需要高精度和良好的数据效率来解决多样的学习问题。我们提出了 Lorentz Geometric Algebra Transformer（L-GATr），这是一个用于高能物理的全新多功能架构。L-GATr 将高能数据表示为四维时空的几何代数，并在 Lorentz 变换下等变，这是相对论运动学的对称群。同时，该架构是一个 Transformer，使它具有很强的灵活性和可扩展性。L-GATr 首先在粒子物理的回归和分类任务上得到验证。然后，我们构建了第一个 Lorentz 等变生成模型：基于 L-GATr 网络的连续正态流，使用 Riemannian 流匹配进行训练。在我们的实验证明中，L-GATr 与强领域特定的基线模型相媲美甚至更优秀。

May, 2024

随机数值线性代数（RandNLA）在大矩阵的机器学习和数据分析应用中发挥着重要作用，本文提供了 RandNLA 的综合概述，以应对近期的理论和实践挑战。

Jun, 2024