SymmPI: 利用群对称性进行数据的预测推理
该研究提出将对称性引入卷积神经网络中,从而提高其在预测物理动态方面的准确性和泛化能力,该方法在实验和理论上都表现出了对分布转换的鲁棒性,并且在雷利-贝纳对流和真实世界的海洋表现上比传统方法更优秀。
Feb, 2020
该研究提出了一种新的框架,Causality Inspired Invariant Graph LeArning (CIGA),通过使用因果模型来确定图表上的潜在分布偏移,从而捕获图表的不变性,以在各种分布偏移下保证OOD泛化性能。
Feb, 2022
本文通过对深度学习的数据(D)、模型(M)和推理算法(I)进行联合分析,提出了解决高维数据下维数灾难的关键协同作用,其中深度学习的网络结构对数据分布的对称性要求最高。
Jul, 2022
本研究提出了一种名为Multi-Symmetry Ensembles (MSE)的框架,通过捕获对称轴上假设的多样性来构建多样化的集合,探索超越随机变化的模型权重和超参数假设空间并有效提高了分类性能、不确定性量化和迁移任务的泛化。
Mar, 2023
通过使用一种小型等变网络将概率分布参数化为对称化并对基模型进行端到端训练,本研究提出了一种新的框架来克服等变体系结构在学习具有群对称性的函数方面的局限性。
Jun, 2023
本文介绍了一种能够自动检测输入每个元素的对称性水平的方法,并通过学习对称性的分布生成伪标签,从而在无监督学习中学习每个输入的对称性水平。该方法在合成数据集上进行了验证,证明了其在生成无对称性数据集以及检测推理期间的非同分布对称性方面的实际应用。此方法能够提高非等变模型的泛化性和鲁棒性。
Dec, 2023
本研究解决了神经网络架构中的权重空间对称性(如MLP中的置换对称性)所导致的贝叶斯神经网络后验的多模态性问题。这项工作提出了一种对称化机制,以构建置换不变的变分后验,结果显示此方法显著提高了后验拟合效果和预测性能。
Aug, 2024
本研究针对二分类任务中的对称性问题,提出了一个新框架,强调选择适当的群体对称性对于优化泛化能力和样本效率的重要性。研究结果表明,最佳分类性能并不总是与最大的对称群体相关,而是与特定子群体密切相关,提供了在多种机器学习应用中构建更有效的对称架构的见解和实践指南。
Aug, 2024
本研究解决了生成模型在处理具有组对称性数据分布时的效率和泛化能力问题。通过提供等变得分生成模型的理论分析,论文阐述了在不依赖数据增强的情况下,如何通过等变向量场有效学习对称化分布的得分。研究结果表明,采用等变结构可以显著改善学习效果,而忽视这一结构可能导致模型泛化能力下降。
Oct, 2024