Clifford 几何代数入门
本文提出了基于几何(Clifford)代数的对称群转换的几何克利福德代数网络(GCAN),并采用组合叠加的方式实现对象变换。通过梯度下降,可以实现这些层作为可调整的几何模板,用于模拟三维刚体变换和大规模流体动力学模拟,相对于传统方法,实现了显著提高的性能。
Feb, 2023
本文介绍了一种用于处理几何数据的通用框架 ——Geometric Algebra Transformer (GATr),它能够高效地表示常见几何物体及其运算符,并能够保持几何物体的对称性,经实验表明其在 n-body modeling 和机器人规划方面的表现明显优于无几何基线模型。
May, 2023
我们引入了随机算法到 Clifford 几何代数,将随机线性代数推广到超复向量空间。这种新颖的方法在机器学习中有很多涵义,包括通过凸优化将神经网络训练到全局最优。此外,我们考虑了细调大型语言模型(LLM)中的嵌入作为一个关键应用领域,探索几何代数和现代人工智能技术的交叉点。特别地,我们通过传统方法与基于凸优化的新方法进行了鲁棒的转移学习的比较分析,其中测试了不同嵌入(GPT-4 和 BERT 嵌入)和不同文本分类数据集(IMDb、Amazon Polarity Dataset 和 GLUE)以及一系列超参数设置的凸优化传输学习方法。我们的结果表明,凸优化和几何代数不仅提高了 LLMs 的性能,还提供了一种更稳定和可靠的传输学习方法通过嵌入。
Jun, 2024
本文介绍了关于 Grassmann 和 Stiefel 曼陀罗上的一些新的数值线性代数算法,具有优秀的性能表现,并可用于对称特征值问题、非线性特征值问题、电子结构计算和信号处理等领域中出现的约束条件进行建模。
Jun, 1998
本文介绍了 Grassmann 流形的基本事实和公式,通过用矩阵算法解决应用中的问题,从表示子空间的正交投影器的方法和被视为正交群的商空间的方法揭示了 Grassmann 几何学。同时,还提出了一种改进的算法,用于计算 Grassmann 流形上的 Riemannian 对数映射,以及沿正交投影器视角的测地线的平行输运的方程和指标的导数。
Nov, 2020
基于射影几何代数的几何代数变换器 (GATr) 是一种多功能的几何深度学习架构,我们将其推广为一种蓝图,可用于根据任何几何(或 Clifford)代数构建可扩展的变压器架构。我们研究了欧几里德、射影和共形代数的不同版本的该架构,它们都适用于表示 3D 数据,并在理论和实践中对它们进行评估。最简单的欧几里德架构计算成本低廉,但对称群较小且样本效率较低,而射影模型的表达能力不足。共形代数和改进版本的射影代数都定义了强大而高效的架构。
Nov, 2023
本文通过经典案例、拟同构、不变子群性质与不变量、刚性、双曲空间和 CAT (k)- 空间、双曲群、CAT (0)- 群、适当的动作分类空间、可测量的群论以及一些开放性问题等方面,从非专家的角度对几何群论进行了总结概括。
Jun, 2008
本文调查了实代数几何算法理论的新、旧发展,主要涵盖关于真实数的一阶理论中的量词消除和计算半代数集拓扑不变量等问题,重点分析了这些算法的复杂性和背后问题的计算难度,并对一些近年来越来越受欢迎的半定规划数值方法进行了讨论。
Sep, 2014
通过统一的几何原理,深度学习可以更好地揭示基本规律,提供数学框架来研究卷积神经网络、循环神经网络、图神经网络和变压器网络等神经网络,且可以将物理学知识结合到神经网络结构中,从而提供了未来神经网络结构的原则性方法。
Apr, 2021