Jun, 2024

随机几何代数方法用于凸神经网络

PDF
TL;DR我们引入了随机算法到 Clifford 几何代数，将随机线性代数推广到超复向量空间。这种新颖的方法在机器学习中有很多涵义，包括通过凸优化将神经网络训练到全局最优。此外，我们考虑了细调大型语言模型（LLM）中的嵌入作为一个关键应用领域，探索几何代数和现代人工智能技术的交叉点。特别地，我们通过传统方法与基于凸优化的新方法进行了鲁棒的转移学习的比较分析，其中测试了不同嵌入（GPT-4 和 BERT 嵌入）和不同文本分类数据集（IMDb、Amazon Polarity Dataset 和 GLUE）以及一系列超参数设置的凸优化传输学习方法。我们的结果表明，凸优化和几何代数不仅提高了 LLMs 的性能，还提供了一种更稳定和可靠的传输学习方法通过嵌入。
发现论文，激发创造
  • 从复杂到清晰：通过 Clifford 的几何代数和凸性分析深度神经网络权重的解析表达

    基于几何 (克利福德) 代数和凸优化，我们介绍了一种新的神经网络分析方法，显示出深度 ReLU 神经网络的最优权重是通过训练样本的外积给出的，并且训练问题可以化简为对外积特征进行凸优化，这些特征编码了训练数据集的几何结构，其中几何结构通过数据向量生成的三角形和平行六面体的符号体积给出。

    Sep, 2023

  • Clifford 几何代数入门

    介绍了几何代数的基础知识，包括平面、三维空间、时空和流行的共形模型，并对其在物理学，机器人学，信号处理，虚拟现实，计算机视觉，矢量场处理，跟踪，地理信息系统和神经计算方面的应用进行了详细的解释。它是用于表示几何转换的理想方法，具有广泛的用途。同时，几何代数的基于代数的微积分技术可以优化 Clifford 神经元的学习算法等。

    Jun, 2013

  • 数据嵌入在等变量量子卷积神经网络中的作用

    对使用数据集的对称性来约束神经网络的参数空间以提高其可训练性和泛化能力的几何深度学习方法在量子机器学习领域得到了应用，其中包括了等变量量子神经网络 (EQNNs)。本研究探讨了经典到量子嵌入对等变量量子卷积神经网络（EQCNNs）图像分类性能的影响，分析了数据嵌入方法与对称群表示的关联，以及不同表示对 EQCNN 表达能力的影响。我们数值比较了基于三种不同基佯波函数嵌入的 EQCNN 与非等变量量子卷积神经网络（QCNN）的分类准确性。结果显示，在训练迭代次数较少时，所有的 EQCNN 都比非等变量 QCNN 具有更高的分类准确性，而在迭代次数较多时，这种改进明显依赖于所使用的嵌入方法。预计本研究的结果对于几何量子机器学习中数据嵌入选择的重要性有着更好的了解，对学术界具有实用意义。

    Dec, 2023

  • 量子启发式的几何建模的神经网络

    通过创造物理系统的 3D 多体点云，我们提出了一种新型的基于等变矩阵乘积态 (MPS) 的消息传递策略，有效地建模复杂的多体关系并捕捉了几何图中的对称性，超越了现有的几何图神经网络的平均场近似，并在预测经典牛顿系统和量子张量哈密顿矩阵等基准任务上验证了其卓越的准确性，堪称参数化几何张量网络的创新应用。

    Jan, 2024

  • 收敛于全局最优解的学习算法的稳定性和泛化性

    本文通过建立黑盒稳定性结果，仅依赖于学习算法的收敛和损失函数最小值周围的几何形态，为收敛到全局最小值的学习算法建立新的泛化界限，适用于满足 Polyak-Lojasiewicz（PL）和二次增长（QG）条件的非凸损失函数以及一些具有线性激活的神经网络，并使用黑盒结果来证明 SGD、GD、RCD 和 SVRG 等优化算法的稳定性在 PL 和强凸设置中具有可拓展性，同时指出存在简单的具有多个局部最小值的神经网络，在 PL 设置下 SGD 稳定，但 GD 不稳定。

    Oct, 2017

  • 几何图卷积神经网络：Geom-GCN

    本文提出了一种新的基于几何学聚合的 aggregation 方案，包含三个模块：节点嵌入，结构化邻域和双层聚合，并将其实现到图卷积网络中，命名为 Geom-GCN。在多个开放数据集上的实验结果表明，Proposed Geom-GCN 已经达到了当前状态的最佳性能。

    Feb, 2020

  • 基于梯度的元学习的可证明保证

    本文介绍了基于在线凸优化的元学习问题，并提出了一种元算法，使得流行的基于梯度的元学习和传统的基于正则化的多任务转移方法之间的差距得以弥合。我们的方法是第一个在凸设置下同时满足良好的样本效率保证，并且具有随着任务相似度提高而改善的泛化界限，同时在现代深度学习体系结构和多任务环境下具有可伸缩性的方法。尽管算法很简单，但它匹配了下限，是任何此类参数传输方法在自然任务相似度假设下的性能的常数因子。我们在凸和深度学习设置下的实验验证和演示了我们理论的适用性。

    Feb, 2019

  • 几何深度学习：网格、群、图、测地线和规范

    通过统一的几何原理，深度学习可以更好地揭示基本规律，提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络，且可以将物理学知识结合到神经网络结构中，从而提供了未来神经网络结构的原则性方法。

    Apr, 2021

  • 线性卷积网络的代数复杂度与神经多样性

    通过引入递归算法，我们生成多项式方程，其共同零点对应于相应神经多丘道的 Zariski 闭包。此外，我们还利用度量代数几何的工具来研究训练这些网络的代数复杂度。我们的研究发现，此类网络的优化中的所有复杂临界点的数量等于 Segre 多样性的一般欧几里得距离度。值得注意的是，这个数量显著超过了具有相同参数数量的全连接线性网络的训练中遇到的关键点数量。

    Jan, 2024

  • G-LLaVA：多模态大型语言模型解决几何问题

    利用图像输入，通过理解几何问题，使大型语言模型能够解决几何问题，构建了一个丰富的多模态几何数据集 Geo170K，发展了 G-LLaVA， 在 MathVista 基准测试上以仅有 7B 参数显著优于 GPT-4-V。

    Dec, 2023