用于对称机制分析的群交叉编码器
该研究提出了一种基于等变特征表示的群等变卷积神经网络(EquiSym),用于检测具有反射和旋转对称性的图像中的对称性模式,并在新的DENDI数据集上取得了最佳表现。
Mar, 2022
对于机器学习模型的对称性和内部数据表示之间的关联,我们提出了本文中阐述的模型内联群的概念,通过相似实验,我们将内联群与具有相同架构的模型之间的隐藏状态相似性联系起来,从而更好地理解体系结构如何影响学习和预测过程。最后,我们猜测对于ReLU网络,内联群可能提供一种合理的解释为什么要在隐藏层中集中探索模型可解释性。
May, 2022
本文介绍了一种能够自动检测输入每个元素的对称性水平的方法,并通过学习对称性的分布生成伪标签,从而在无监督学习中学习每个输入的对称性水平。该方法在合成数据集上进行了验证,证明了其在生成无对称性数据集以及检测推理期间的非同分布对称性方面的实际应用。此方法能够提高非等变模型的泛化性和鲁棒性。
Dec, 2023
本研究针对二分类任务中的对称性问题,提出了一个新框架,强调选择适当的群体对称性对于优化泛化能力和样本效率的重要性。研究结果表明,最佳分类性能并不总是与最大的对称群体相关,而是与特定子群体密切相关,提供了在多种机器学习应用中构建更有效的对称架构的见解和实践指南。
Aug, 2024
本研究解决了传统欧几里得深度学习无法有效处理复杂拓扑特征空间的问题,提出了基于对称群等变深度学习模型的新方法。这些模型在图形、三维形状和非欧几里得空间上实现了类似卷积的操作,揭示了其输入空间和表示之间的内在对称性,具有重要的理论和实践意义。
Sep, 2024
该研究解决了设计能够展现放松等变性的对称感知神经网络的挑战,提出了一种新的基于对称结构矩阵的通用框架,以显著降低参数数量。研究表明,这种框架可以有效地扩展经典卷积神经网络的线性操作,并在多种任务中展现了优越的性能,具有潜在的实际应用价值。
Sep, 2024
本研究针对无监督对称性学习中存在的空白,提出了一种新方法,能够从原始数据中识别基础李群的对称性生成器及其同变表示。该方法通过结合对称性与局部性的关系,提供了一种高度稳定的系统,能够有效学习不易察觉的不同类型的对称性,展示了其在对称性学习领域的潜在重要影响。
Oct, 2024
该研究针对机器学习模型在面对对称性时的局限性,提出了一种名为对称克隆的方法,以在通用机器学习架构中引入等变性。通过这一新方法,模型能够直接学习对称性,并在后续任务中保留或打破这种对称性,极大地提升了群不变架构的学习能力。
Oct, 2024
本研究提出群体交叉编码器,旨在解决对称特征在神经网络中识别和分析的传统手动方法的局限。通过在对称群下对输入的变换版本进行字典学习,群体交叉编码器能够自动识别出特征的聚类和对称性,揭示几何特征的不同不变性和等变性模式。这一方法提供了一种新的视角,推动了神经网络机制可解释性的研究。
Oct, 2024