- 探究机器学习中破坏对称性的影响
对于建模原子尺度物质性质的模型,以对称性作为归纳偏差普遍被采用。然而,非对称模型也能从数据中学习对称性,并对模型准确性有益。本研究测试了一个仅近似满足旋转不变性的模型在模拟气相、液态和固态水的实际场景中的性能,发现其在插值、大体积情况下几乎 - Christoffel 词的对称性质
基于梯形词的理论,我们引入了这种对长度的因子的基数序列来对称的双变量变种,证明了这种对称性刻画了 Christoffel 词,并建立了其他相关结果。
- 将对称性融入 GFlowNets 中
本研究旨在通过在生成过程中识别等效动作,将对称性整合到 GFlowNets 中。使用合成数据的实验结果显示了我们提出方法的良好性能。
- 具有隐藏对称性的对称线性赌博算法
在高维线性赌博机中,通过模型选择来学习隐藏的对称性结构,我们的算法能够达到低预测误差并降低后悔程度。
- 深度神经网络的非对称谷探索与利用
探索深度神经网络(DNNs)的损失景观可以揭示其内在原理。我们的研究系统地探索了影响 DNNs 山谷对称性的因素,包括数据集、网络架构、初始化、超参数以及噪声的大小和方向。我们的主要观察表明,噪声与收敛点之间的符号一致性是山谷对称性的关键指 - 解决方案效率和指导价值对人类和 GPT-4 中的加法和减法解决策策略的影响
从对人类和 GPT-4 大型语言模型的四个实验中,我们探讨了添加偏差(即对于改变初始状态或结构更倾向于添加元素而不是删除)的认知倾向。结果显示,添加偏差普遍存在,并且解决方案的效率和指令的情绪性起到重要作用;人类参与者倾向于在减法更有效的情 - 利用动力学中的对称性进行有偏向奖励的基于模型的强化学习
通过 Cartan 的运动参考系方法,我们提出了一种学习动力学模型的技术,该模型具有指定的对称性,并通过数值实验证明所提出的方法可以学习出更准确的动力学模型。
- 学习任务对称机器人策略的对称性考虑
通过数据增强和镜像损失函数的两种方法,将对称不变性纳入深度强化学习中,可在各种具有挑战性的机器人任务中实现更快收敛和改进的学习行为。
- ICLRE (3) 等变点网络近似分段
将对称性的概念融入点云神经网络中被证明是提高其泛化能力的一种有效方法。我们引入了 APEN,一个构建近似分段 $E (3)$ 等变点网络的通用框架,借助该观察,我们的设计能够仅基于 (i) 对分割预测的不确定性的量化和 (ii) 未能提出正 - 梯度噪声的隐含偏差:对称性视角
当存在连续对称性时,我们表征了随机梯度下降法(SGD)的学习动力学,它与梯度下降法之间的差异是显著的。我们将对称性对学习动力学的影响分为两类:其中一类对称性,SGD 自然地收敛于具有平衡和对齐梯度噪声的解;另一类对称性下,SGD 几乎总是发 - ICML等变对称性破缺集
我们提出了一种全等变性的新颖对称性破缺框架,通过将一组对称性破缺对象输入网络来实现,最小化这些集合的大小等效于数据效率。我们证明了最小化这些集合相当于一个被广泛研究的群论问题,并提供了对点群问题的解决方案,通过一些破对称性的示例来展示我们的 - MM对称破缺与等变神经网络
对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而,在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制:它们无法针对单个数据样本进行对称性打破。为此,我们引入了一种新的 “放松等变 - 机器学习中实施、发现和促进对称性的统一框架
提供了将对称性引入机器学习模型的一种统一的理论和方法框架,包括强制已知对称性、发现未知对称性和通过施加凸正则化函数来促进对称性等方面。
- 数据参数域上的联合群不变函数引导通用神经网络
通过研究对称性和几何学,我们提出了一种系统规则,通过数据域上的群作用来找到参数域上的双重群作用,并通过 Schur 引理给出了广义神经网络的群理论证明,从而将几何深度学习与抽象谐波分析相连。
- 在均匀空间中随机性和对称性之间的量子拉锯战
量子信息中对称性与随机性的关系以及其在同质空间中的应用。
- 应对不完美对称性:一种新的对称学习演员 - 评论扩展
通过自适应对称学习(ASL)模型,该研究旨在通过强化学习捕捉人类大脑适应不完全或不精确对称任务的能力,并在各种情境中通过减小波动来提高性能。
- XGBoost 对称防御抵御对抗扰动攻击
对于树状集成分类器和梯度提升决策树(GBDT)是否能够利用对称性来抵御对抗扰动攻击进行了研究,并首次证明了 GBDT 对称性的缺失。通过使用特征反演和水平翻转对称性,我们在零知识对手和完全知识对手的威胁模型下对九个数据集进行了 GBDT 对 - 用神经网络学习李群对称变换
本文介绍了一种发现和表征数据集中未知对称性(Lie 群对称)的方法,旨在解决神经网络中进行对称性硬编码的问题,适用于模型选择、生成建模和数据分析等领域。
- 组合优化中的对称探索是自由的!
提出了一种 “免费” 技术,通过利用对称性来增强任何基于深度强化学习(DRL)的求解器的性能,而不需要额外的目标函数评估。这种方法通过奖励保持变换来扩充 DRL 的训练,并且在 NP 硬路由优化、计划优化和革新物质优化等诸多领域得到了广泛的 - (近似)群等变性下的逼近 - 泛化平衡
通过对对称性的任务特定归纳偏差的明确合并,机器学习模型的高性能设计准则已经出现。