本文通过对深度学习的数据（D）、模型（M）和推理算法（I）进行联合分析，提出了解决高维数据下维数灾难的关键协同作用，其中深度学习的网络结构对数据分布的对称性要求最高。

Jul, 2022

本研究提出了一种名为Multi-Symmetry Ensembles (MSE)的框架，通过捕获对称轴上假设的多样性来构建多样化的集合，探索超越随机变化的模型权重和超参数假设空间并有效提高了分类性能、不确定性量化和迁移任务的泛化。

Mar, 2023

我们开发了一个统一的框架，通过线性和张量值函数的组合表达在各种子群中对称不变的函数，利用多臂老虎机算法和梯度下降优化线性和张量值函数，从而学习出对应的对称性。通过图像数字求和和多项式回归任务的实验，证明了我们方法的有效性。

Sep, 2023

对称性在当代神经网络中普遍存在，本文揭示了损失函数对学习模型的学习行为影响的重要性，证明了损失函数的每个镜像对称性都会带来一种结构约束，当权重衰减或梯度噪音较大时，这种约束成为一种被偏爱的解决方案。作为直接的推论，我们展示了重新缩放对称性导致稀疏性，旋转对称性导致低秩性，置换对称性导致同质集成。然后，我们展示了理论框架可以解释神经网络中可塑性的丧失和各种崩溃现象，并提出如何使用对称性来设计能够以可微分方式实施硬约束的算法建议。

Sep, 2023

提供了将对称性引入机器学习模型的一种统一的理论和方法框架，包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。

Nov, 2023

通过梯度下降，我们研究了学习等变神经网络的问题。尽管已知的问题对称（“等变性”）被纳入神经网络中，经验上改善了从生物学到计算机视觉等领域的学习流程的性能，但是一项有关学习理论的研究表明，在相关统计查询模型（CSQ）中，实际学习浅层全连接（即非对称）网络的复杂度呈指数级增长。在这项工作中，我们提出了一个问题：已知的问题对称是否足以减轻通过梯度下降学习等变神经网络的基本困难？我们的答案是否定的。特别地，我们给出了浅层图神经网络、卷积网络、不变多项式和排列子群的框架平均网络的下界，这些下界在相关输入维度中都以超多项式或指数级增长。因此，尽管通过对称性注入了显著的归纳偏差，但通过梯度下降实际学习等变神经网络所代表的完整函数类仍然是困难的。

Jan, 2024

构建一个能够明确捕捉数据中对称性的生成模型，以便以可解释的方式学习存在的对称性，并结合现有生成模型提高边际测试日志似然和对数据稀疏化的鲁棒性。

Mar, 2024

本研究针对二分类任务中的对称性问题，提出了一个新框架，强调选择适当的群体对称性对于优化泛化能力和样本效率的重要性。研究结果表明，最佳分类性能并不总是与最大的对称群体相关，而是与特定子群体密切相关，提供了在多种机器学习应用中构建更有效的对称架构的见解和实践指南。

Aug, 2024

本文综述了源自范畴理论的机器学习，涵盖了四个主流视角：基于梯度的学习、基于概率的学习、基于不变性和等价性的学习，以及基于拓扑的学习。特别是首次探讨了高阶范畴理论，尤其是拓扑理论在机器学习中的应用，揭示了趣味性和深刻性的全局与局部结构之间的关系。

Aug, 2024

本研究解决了机器学习中缺乏范畴理论视角的问题，提供了基于梯度、概率、不变性及拓扑的学习框架的综述。文章首次探讨了更高范畴理论，强调了点阵结构在机器学习方法中的重要性及其对全局与局部网络特性的影响。

Aug, 2024