反向传播算法和热带神经网络中的算法复杂度
本文研究了一个新的途径，即通过研究热带多项式除法问题，处理神经网络简化问题，并与凸多面体联合凸包的计算联系起来，该算法的有效性已通过 MNIST 手写数字和 CIFAR-10 数据集的数值结果得到证明。
Jun, 2023
我们提出了一种代数几何框架来研究线性激活神经网络的表达能力。我们在热带几何的环境中工作，利用热带有理映射和前馈神经网络之间的已知连接，构建了一个丰富的研究神经网络的热带几何理论。我们的工作在选择采样域、对具有对称性的网络架构进行引导性采样域限制以及分析神经网络作为热带 Puiseux 有理映射方面做出了贡献。通过一系列概念证明的数值实验，我们展示了热带几何理论可以应用于揭示网络的表达特性的广泛神经网络架构。我们的工作为从计算热带几何和符号计算领域的理论和现有软件转化到深度学习提供了基础。
May, 2024
考虑一个由两个凸分段线性函数差值定义的二元分类器，其中 ReLU 神经网络的参数空间包含在热带有理函数的参数空间中，我们将该参数空间划分为两个不同的子集：一个由半代数集组成，其决策边界的组合类型固定；一个由多面体扇形组成，捕捉了数据集分割的组合数学。0/1 损失函数的亚水平集是分类扇形的子扇，我们证明亚水平集不一定是连通的。我们从几何学上描述了分类扇形，作为激活多面体的法向扇形，从组合学上通过关联的二分图列表描述了该扇形，类似于有向拓扑和热带有向拓扑的对偶向量公理。我们的发现通过观察在实际热带几何中建立的结构扩展和改进了神经网络与热带几何之间的联系，如超曲面的正热带化和热带半代数集。
Mar, 2024
该研究建立了前馈神经网络与 tropical 空间之间的联系，通过这个联系，我们证明了具有一个隐藏层的前馈神经网络可以通过 zonotopes 来特征化，并且与 tropical hypersurfaces 相关联。
May, 2018
本研究使用热带代数中 generalization 的概念对神经网络中的分段线性激活函数进行统一且独特的处理，将神经网络层看做是一个 tropical polynomial，进一步优化计算线性区域的上界，并提出了一种使用随机抽样有效计算线性区域数量的几何方法。
May, 2018
矩阵分解在机器学习和数据挖掘中有广泛应用，包括协同过滤推荐系统、降维、数据可视化和社区检测。本文基于热带代数和几何在机器学习领域的最新成果，研究了两个涉及矩阵分解的问题。我们提出了一种改进的算法来解决热带矩阵分解问题，并通过将传统矩阵乘法与热带乘法相结合来探讨了近似分解的第二种形式。我们还展示了新算法的有效性并在推荐系统上进行了应用，并取得了有希望的结果。
Sep, 2023
提出了 triFastSTMF 算法，利用 Tropical semiring 对多分割网络进行三因素分解分析，与 Fast-NMTF 相比，具有更好的预测性能和稳定性。
May, 2023
研究了有关各维热带超曲面交集的基本算法问题：判断此交集是否非空、是否为热带变量、是否连通，以及计算连接部分的数量。表明了输入数据的限制条件下可计算和硬计算之间的边界，并在不同的限制条件下证明了 NP-hardness 和 #P-hardness 结果，同时为其他不同限制条件提供了多项式时间算法。
Oct, 2004
本文提出了一种将全局结构化计算形式化整合到深度计算架构中的方法，其核心是开发了一种新的基于矩阵变化的 backpropagation 理论和实践，该方法广泛适用于机器学习或计算感知问题，我们在 BSDS 和 MSCOCO 基准测试中执行视觉分割实验，结果表明端到端训练的基于第二阶池化和归一化切割层的深度网络，使用矩阵反向传播优于没有利用全局层的对应网络。
Sep, 2015