Jan, 2024

解释等变表示

PDF
TL;DR在这篇论文中，我们展示了在使用潜在表示时应考虑的等变模型对归纳偏好的作用，并表明不考虑归纳偏好会导致下游任务的性能降低，相反，通过使用潜在表示的不变投影来有效地考虑归纳偏好，我们提出了选择这种投影的原则，并通过两个常见的例子展示了这些原则的影响：首先，我们研究了用于分子图形生成的置换等变变分自编码器；在这里，我们展示了可以设计一种不变投影，在结果不变表示中没有信息损失。接下来，我们研究了用于图像分类的旋转等变表示；在这里，我们说明了如何使用随机不变投影来获得一个在保留大量信息的不变表示。在这两种情况下，对不变潜在表示的分析证明优于它们的等变对应物。最后，我们证明了等变神经网络中记录的现象在通过数据增强鼓励不变性的标准神经网络中也存在。因此，虽然有经验的等变模型开发人员可能已经知道这些歧义，但我们将这些知识和处理这些歧义的有效工具提供给更广泛的社区。
发现论文，激发创造
  • 无监督学习群不变和等变表示

    本文针对深度学习的无监督学习，将群不变和群等变表示学习扩展到了该领域。我们提出了一种基于编码器 - 解码器框架的通用学习策略，其中潜在表示被分为不变项和等变群作用项。在利用预测适当的群作用来对齐输入和输出姿势以解决重建任务时，网络可以学习将数据编码和解码为群不变表示。我们导出依变编码器的必要条件，并针对旋转，平移和置换明确描述了我们的构造。我们在不同网络架构下使用不同数据类型进行各种实验，测试了我们方法的有效性和鲁棒性。

    Feb, 2022

  • 在具有潜在对称性的领域中，等变模型的惊人有效性

    通过研究发现，即使强制施加不完全匹配于领域对称性的 equivariance 约束，也能显著提高机器学习环境中对真实对称性的学习效率和性能。在强制施加 extrinsic symmetry 的情况下，在具有潜在对称性的领域中，equivariant model 的表现优于 non-equivariant 方法。

    Nov, 2022

  • 从砖头到桥梁：增强潜在空间通信的不变性乘积

    直接将一组不变性直接融入表示中，构建一种不变分量的产品空间，旨在解锁合并、拼接和重用不同神经模块的应用，并观察到分类和重建任务中的一致潜在相似性和下游性能改进。

    Oct, 2023

  • 逆问题的等变神经网络

    本文介绍一种使用群等变卷积神经网络来解决逆问题的学习重建方法，通过在迭代方法中建立群等变卷积神经网络解决拉伸同变的问题，实现了低剂量计算机断层成像重建和子采样磁共振成像重建的质量提升。

    Feb, 2021

  • 通过测量等变性和等价性来理解图像表示

    本文探讨了图像表示的数学属性，如同变性，不变性和等价性等，提出了多种方法来实现这些属性，并应用到流行的表示中来揭示其结构的有益方面。

    Nov, 2014

  • 自监督学习分离不变等变表示

    本文介绍了一种基于超网络的预测器，结合了不变和等变的表示形式，以学习更丰富的表示，进而在等变性相关任务中获得显著的性能提升。同时，本文还介绍了一个名为 3DIEBench 的数据集，其中包含来自 55 个类别的 3D 模型渲染超过 250 万幅图像，提供了完全可控的对象变换。研究者希望这两个工具能够在更复杂的场景中实现更好的无监督学习效果。

    Feb, 2023

  • 概率对称和不变神经网络

    本研究从概率对称性的角度考虑群不变性，建立功能性和概率对称性之间的联系，并得到了不变或等变于紧致群作用下的概率分布的生成功能表示。此表示完全表征了神经网络的结构，可用于模拟此类分布并提供了一般性的计算程序。

    Jan, 2019

  • 相对表示使零样本隐空间通信成为可能

    本文主要研究利用神经网络将数据流形的几何结构嵌入到潜在表征中，提出了根据潜在表示中样本与预设锚点之间的相对关系来实现所需不变性的方法，并在不同数据集、不同架构、不同任务下进行了验证。

    Sep, 2022

  • 用于学习神经网络等变表示的图神经网络

    本文提出了一种将神经网络表示为参数计算图的方法，借助图神经网络和 transformers 来保持置换对称性，并展示了该方法在多个任务中的有效性。

    Mar, 2024

  • 神经网络对不变映射的通用逼近

    我们将神经网络的普适逼近定理推广到对于线性表示组不变或等变的映射，以建立一种像网络一样的计算模型，能够在能够逼近任何连续不变 / 等变映射的同时保持不变 / 等变。我们提出了完备的不变 / 等变网络的构造，通过引入中间多项式层，通过 Hilbert 和 Weyl 的定理证明了我们的构造方法。我们提出了适用于 SE（2）群的 “电荷守恒卷积” 模型，并证明其是连续 SE（2）等变信号变换的通用逼近器。

    Apr, 2018