Jan, 2024

参数矩阵模型

PDF
TL;DR我们提出了一种称为参数矩阵模型的通用机器学习算法类。参数矩阵模型基于矩阵方程，其设计受到了近似解参数方程的简化基准方法的高效性的启发。该模型的因变量可以隐式或显式定义，并且方程可以使用代数、微分或积分关系。参数矩阵模型只需要经验数据进行训练，不需要高保真模型计算。尽管最初设计用于科学计算，参数矩阵模型是通用的函数近似器，可用于解决一般的机器学习问题。在介绍了潜在理论后，我们将参数矩阵模型应用于一系列不同的挑战，展示了它们在广泛的问题上的性能。对于在这里测试的所有挑战，参数矩阵模型在允许参数外推和解释性的计算框架内产生准确的结果。
发现论文，激发创造
  • 使用 Transformers 进行线性代数

    通过例子，Transformer 可以学习执行数字计算。作者从基本矩阵操作到特征值分解和求逆，研究了线性代数的九个问题，并引入和讨论了四种编码方案以表示实数。通过使用随机矩阵训练的 Transformers 在所有问题上都能达到高的准确度，并且它们的模型对噪声具有鲁棒性，在训练分布之外也具有泛化能力。特别是，针对 Laplace 分布的特征值进行训练的模型对不同类别的矩阵具有泛化能力：Wigner 矩阵或具有正特征值的矩阵。反之则不成立。

    Dec, 2021

  • 学习矩阵的正则化技术

    本文研究了一种将参数组织成矩阵的学习方式，采用矩阵范数来适当地规范参数以实现更复杂的先验知识。基于已知的对偶事实，即函数相对于某些范数是强凸的，当且仅当其共轭函数相对于对偶范数是强平滑的，我们的方法是基于统计学性质来确定合适的正则化函数。通过将这个框架应用于多任务学习、多类学习和核学习中，并推导出新的广义化和失误上限，我们展示了这个方法的潜力。

    Oct, 2009

  • 低秩核矩阵近似的尖锐分析

    本文研究了在正定核框架下的监督学习问题，提出了基于随机矩阵列采样的核矩阵低秩近似方法，此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题，同时保持预测性能不变。

    Aug, 2012

  • 带有生成先验的钉板矩阵模型

    通过生成模型替换稀疏性假设，研究了低秩矩阵观测到的带有稀疏结构的峰值问题，并使用随机矩阵理论分析了增强的谱算法的性能和阈值，展示其在真实数据集中优于传统的主成分分析。

    May, 2019

  • 参数化量子电路作为机器学习模型

    该综述论文介绍了混合量子 - 经典系统的模型和组件，并讨论了它们在监督式学习、生成建模等数据驱动任务中的应用，预示着这个迅速发展的领域将有广泛的现实应用。

    Jun, 2019

  • 通过变量投影实现最优矩阵模仿张量代数

    使用矩阵拟态张量框架实现多线性数据分析优化的同时学习最佳线性映射和相应张量表示，通过变量投影捕捉变换和表示之间的耦合关系，并通过黎曼优化学习正交变换以保持线性映射的可逆性。

    Jun, 2024

  • 矩阵神经网络

    提出了一种矩阵神经网络（MatNet），通过双线性映射从上一层单元中感知总结信息，并方便地扩展到多模输入，应用于 MNIST 手写数字分类和图像超分辨率任务中，具有与最先进方法可比较的性能和大大降低的复杂性。

    Jan, 2016

  • 多项式网络和因子分解机：新见解和高效训练算法

    本文从统一的视角重新审视了多项式网络和分解机模型，提出了高效训练算法，并将参数学习作为低秩对称张量估计问题进行求解。在回归和推荐系统任务中展示了我们的方法。

    Jul, 2016

  • 局部低秩假设下的矩阵近似

    该研究提出了一种新的矩阵逼近模型，其中假设只有部分的矩阵是局部低秩的，并将观测矩阵表示为低秩矩阵的加权和，实验表明该方法在推荐任务中可以提高预测准确度。

    Jan, 2013

  • 高秩矩阵补全的代数多样性模型

    本文以代数多样性为数据本身的情况进一步推广了低秩矩阵补全问题，结合仿射子空间集合进行研究，提出了一种有效的基于凸或非凸代价的矩阵补全算法，绕过高维幂律特征矩阵的直接处理，能够恢复合成数据和真实数据，且其性能优于传统的低秩矩阵补全和子空间聚类算法。

    Mar, 2017