- 等变变换神经网络过程的翻译
本文介绍了一种新的具有平移等变性的神经过程(TNPs)家族,通过对合成和真实世界的时空数据进行广泛的实验,相对于非平移等变性对照组和其他 NP 基线,我们证明了 TE-TNPs 的有效性。
- 通过最小帧平均实现等变性,提升对称性和效率
通过帧平均的方法,在机器学习系统中实现等变性。我们提出了 Minimal Frame Averaging (MFA) 数学框架,用于构建确切等变性的最小帧,扩展到了 Lorentz 群和幺正群,并在多个任务中展示了通过 MFA 来编码对称性 - 时空连续的偏微分方程预测使用等变神经场
通过保留潜空间中的几何信息,我们提出了一个基于连续空间时间的条件神经场求解框架,以尊重已知偏微分方程的对称性,并显示出模型在一些具有挑战性的几何结构中超越基线,并在空间和时间上适用于未见过的位置和几何变换的初始条件。
- 带有一些未知因子的提升因子图
使用代表不可区分对象的提升技术,本文研究了在概率图模型中如何有效地进行查询回答并保持精确答案;引入了 LIFAGU 算法以识别包含未知因子的因子图中对称子图,并实现已知势能向未知势能的传递,以确保良定义语义并进行(提升的)概率推断。
- 等变极限学习机快速高效预测偏微分方程
利用极限学习机(ELM)对偏微分方程(PDEs)进行预测,将状态空间分成多个窗口,通过单个模型分别进行预测,即使只有少量数据点,仍能达到很高的准确性,可以预测长时间范围内的 PDEs 流动。此外,我们展示了如何利用附加的对称性增强样本效率和 - 傅立叶传输器:三维双等变机器人操作
利用傅里叶转换器在复杂机器人操作任务中提高样本效率,通过训练和预测新环境下的拾取 - 放置动作来实现开环行为克隆方法,并独立考虑拾取和放置动作的对称性,取得了在 RLbench 基准测试中的最新成果。
- 关于对称性下的学习难度
通过梯度下降,我们研究了学习等变神经网络的问题。尽管已知的问题对称(“等变性”)被纳入神经网络中,经验上改善了从生物学到计算机视觉等领域的学习流程的性能,但是一项有关学习理论的研究表明,在相关统计查询模型(CSQ)中,实际学习浅层全连接(即 - 自监督检测完全和部分输入相关的对称性
本文介绍了一种能够自动检测输入每个元素的对称性水平的方法,并通过学习对称性的分布生成伪标签,从而在无监督学习中学习每个输入的对称性水平。该方法在合成数据集上进行了验证,证明了其在生成无对称性数据集以及检测推理期间的非同分布对称性方面的实际应 - 基于数据驱动的流体复杂流动模型中引入对称性
利用流体力学中的对称性,本文运用模拟数据找到了长时间动力学在较低自由度的流形上的演化方程,通过称之为 '' 对称图表 '' 的方法,采用傅里叶变换和自动编码器找到了数据的低维坐标表示,最后利用神经常微分方程在该流形上学习动力学。应用于二维混 - 优化无似然推断:利用自监督神经对称嵌入
通过优化无似然推断,利用自监督学习以及物理问题中的对称性数据增强,通过联合嵌入学习物理对称性(如时间平移),进而使用归一流在参数条件之前利用嵌入网络总结数据进行参数推断,相比不使用预训练对称性感知表示的归一流,本文在两个简单物理问题中展示了 - 处理多样化神经结构的图元网络
通过构建图形元网络,将权重从其他神经网络作为输入,我们的 Graph Metanetworks (GMNs) 方法解决了处理对称性和参数空间几何的困难,有效地推广到多种神经网络架构,并验证了其有效性。
- MM神经格约化:一种自监督几何深度学习方法
本研究使用深度学习方法解决格约简问题,通过设计一个深度神经模型输出因式分解的单模数矩阵,并通过自监督训练惩罚非正交格基来实现。同时,通过使模型对适当的连续和离散群具有不变性和等变性,将格约简的对称性纳入模型中。
- 李点对称性与物理信息网络
我们研究了将偏微分方程 (PDE) 的对称性,即李点对称性,整合到物理信息神经网络 (PINNs) 中的方法,并提出了一种损失函数,用于告知网络关于李点对称性,从而提高了 PINNs 的样本效率。
- 利用对称性提升可满足性检查
使用对称性压缩结构来解决满足性问题,通过将句子转化为能够进行领域压缩的句子,检查满足性并找到满足条件的结构,其适用于生成配置问题。
- ICML等变性并非你所需之一:揭示等变图神经网络在粒子物理任务中的实用性
将诱导偏差引入机器学习模型是机器学习研究的一个活动领域,特别是当机器学习模型被应用于关于物理世界的数据时。本文从相关的等变网络的文献中汲取灵感,通过使用真实世界的粒子物理重建任务作为评估测试平台,全面评价了等变图神经网络的提议的好处。我们证 - 用于鲁棒星系形态分类的 E (2) 等变神经网络
使用群卷积神经网络 (GCNNs) 基于数据的对称性对星系形态分类任务进行研究,通过引入人为扰动和模拟观测能力的限制来进行鲁棒性研究,发现 GCNN 在分类准确性和鲁棒性方面优于非等变的对应模型。
- 计算机视觉模型的不稳定性是任务本身的必然结果
通过分析,我们得出结论:计算机视觉问题的不稳定性是当前问题的必然结果,并且无法完全消除。然而,我们可以采取一些措施来部分缓解这个问题,包括提高图像分辨率、为图像提供上下文信息、对训练数据进行详尽标记,并防止攻击者频繁访问计算机视觉系统。
- 摘星座:通过分层粗化的 SO (3) 等变自编码器实现蛋白质结构的可扩展建模
通过引入 Ophiuchus,一种 SO(3)- 等变粗粒化模型,我们在所有标准蛋白质残基的重原子上高效地操作,同时尊重其相关的对称性,从而缩小这个差距,并采用局部卷积粗化模型来模拟序列模体间的相互作用。我们训练 Ophiuchus 来重建 - 现代网络的路径 - 范数工具包:后果、承诺和挑战
通过使用支持一般 DAG ReLU 网络的路径范数工具包,该研究建立了适用于现代神经网络的泛化界限,该工具包不仅可以恢复或超越已知的界限,而且还具有计算简便、对网络对称性不变以及相对于算符范数的优化尖锐度等路径范数的优点。该工具包的多功能性 - 对称性引导学习的结构约束
对称性在当代神经网络中普遍存在,本文揭示了损失函数对学习模型的学习行为影响的重要性,证明了损失函数的每个镜像对称性都会带来一种结构约束,当权重衰减或梯度噪音较大时,这种约束成为一种被偏爱的解决方案。作为直接的推论,我们展示了重新缩放对称性导