- 探究机器学习中破坏对称性的影响
对于建模原子尺度物质性质的模型,以对称性作为归纳偏差普遍被采用。然而,非对称模型也能从数据中学习对称性,并对模型准确性有益。本研究测试了一个仅近似满足旋转不变性的模型在模拟气相、液态和固态水的实际场景中的性能,发现其在插值、大体积情况下几乎 - 端到端学习在相位恢复中存在的问题
对于存在于图像科学中的非线性反问题,前向模型中的对称性很常见。当使用数据驱动的深度学习方法来解决这类问题时,这些内在的对称性可能导致学习困难。本文解释了这些困难是如何产生的,更重要的是,如何通过预处理训练集(即对称性破坏)来克服这些困难。我 - ICML等变对称性破缺集
我们提出了一种全等变性的新颖对称性破缺框架,通过将一组对称性破缺对象输入网络来实现,最小化这些集合的大小等效于数据效率。我们证明了最小化这些集合相当于一个被广泛研究的群论问题,并提供了对点群问题的解决方案,通过一些破对称性的示例来展示我们的 - 存在噪声下的几何量子机器学习中的对称性破缺
基于等变量量子神经网络(EQNN)的几何量子机器学习是量子机器学习中的一个有前景的方向,本文研究了 EQNN 模型在噪声存在下的行为,通过数值模拟和高达 64 比特的硬件实验支持实验的结果,并提出了在噪声存在时增强 EQNN 模型对称性保护 - MM对称破缺与等变神经网络
对称性在深度学习中作为归纳偏置已经被证明是一种高效的模型设计方法。然而,在神经网络中对称性与等变性的关系并不总是显而易见。本研究分析了等变函数中出现的一个关键限制:它们无法针对单个数据样本进行对称性打破。为此,我们引入了一种新的 “放松等变 - 发生在生成性扩散模型中的自发对称性破缺
本文探讨了生成扩散模型的动力学性质,发现其决定性的相变点将其生成过程分为两个不同的阶段,对此我们提出了一种高斯后初始化方案,可显著提高模型性能,增加样本多样性并减少偏差,实验表明在快速采样上可实现 3 倍的 FID 改进。
- ICML应用于机器翻译的 Q 函数学习的 Lagrangian 方法
本文提出了一种新方法来解决学习最优 Q 函数的基本问题,该方法将最优 Q 函数定为非线性 Lagrange 函数的鞍点,并应用于模仿学习和机器翻译基准测试,同时证明了 Lagrange 函数的对偶性和对称性破缺现象的存在。
- MM复杂组合问题对称性约束的高效规避
该论文介绍了基于模型的一种新方法,使用对称解决方案的学习框架来解决复杂的 Partner Units Problem 问题,尤其在电子行业中的应用具有实际意义。
- AAAI组合优化的认证对称性和支配破坏
研究如何建立一种基于 cutting planes 证明系统的证明方法来验证包括对称性破坏和优势破坏等优化问题的解是否计算正确,实验表明我们可以有效地验证布尔可满足性(SAT)求解中全局对称性破坏,从而提供了一种统一的方法来证明一系列高级 - Noether 的学习动态:对神经网络中对称性破缺的作用
通过拉格朗日力学视角建立了理论基础探索神经网络的学习动态在设计原则方面的几何学原理,揭示了显式对称性破缺等机制为现代神经网络的高效性和稳定性的关键。
- 强化学习中子目标自动机的归纳与利用
ISA 是一种学习和利用强化学习中子目标的方法,通过交错强化学习和感知高级事件的子目标自动机的归纳来学习如何到达任务目标状态,该方法使用一种现有的逻辑编程系统,使这些子目标表示为基于常命题逻辑的逻辑公式,并保证了最少状态的自动机归纳和对称性 - ICML超越信号传递:深度神经网络初始化是否需要特征多样性?
本文探讨使用几乎所有权重初始化为 0 的方法来构建深度卷积网络,发现推荐的随机权重初始化并不一定是必要的,关键在于对称破缺机制, 实验结果表明标准 GPU 操作足以使网络产生对称破缺生成足够特征。
- ICML表征学习的量子场论
通过将对称性破缺的场论应用于损失函数存在连续对称性而被随机初始化破缺的机器学习模型中,我们展示了在时间序列模型中的 “带电” 嵌入矢量的规范理论,利用超导和对称性破缺在时间表示学习中之间的相似性,使得损失函数规范不变可以加速模型收敛。
- MMBreakID: ASP 的静态对称性破坏(系统说明)
本文将最新的 SAT 对称性破解器 BreakID 移植到 ASP,并与当前最先进的对称性破解器 sbass 进行比较,产生了一个可插入 ASP 建模期间的轻量级工具
- 循环神经网络优化的进展
本文探讨了相关的优化问题,尝试使用梯度削减,跨越更长的时间范围,强化动量技术,使用更强大的输出概率模型,以及鼓励更稀疏的梯度来帮助对称性打破和学分分配等几个方面,以提高长序列的训练的可行性和效率。实验结果在文本和音乐数据的训练和测试误差中表 - 利用值先例破坏对称性
本文研究价值优先约束的使用,通过三元约束对其进行编码以有效地打破对称性,并将其扩展到包括花环值和部分可互换性等多种情况,同时探讨了价值优先和对称性破坏约束在变量对称性方面的交互关系。
- 多智能体系统中共享词汇的尖锐转变
本文研究了一种基于微观模型的自主通信代理进行语言游戏的方法,研究表明此系统经历了一次无序 / 有序的相变并达成共识,这不仅解释了为什么人类语言可以扩展到非常大的人群,而且还提供了优化人工符号动力学的方法。
- 在线独立分量分析的统计动力学
探讨了通过简单的 Hebbian 学习算法分离高维数据集中的非高斯分量的情况,介绍了该算法适用于学习 Stiefel 流形的自然梯度变体,并研究了大输入维度下两种算法的参数轨迹。