Jun, 2024

等变变换神经网络过程的翻译

PDF
TL;DR本文介绍了一种新的具有平移等变性的神经过程（TNPs）家族，通过对合成和真实世界的时空数据进行广泛的实验，相对于非平移等变性对照组和其他 NP 基线，我们证明了 TE-TNPs 的有效性。
neural processesposterior prediction mapspermutation invariant set functionssymmetriestranslation equivariance
发现论文，激发创造
  • 近似等变神经过程

    通过使用已有的等变体系结构，我们在构建神经过程中使用近似等变性的方法，证明了该模型在合成和真实回归实验中的有效性。

    Jun, 2024

  • 变压器神经过程：通过序列建模实现不确定性感知的元学习

    本文提出了一种基于 Transformer 架构的新型神经过程模型（TNPs），用于解决元学习中的不确定性问题，具有先进的表现，适用于元回归、图像完成、上下文多臂赌博机和贝叶斯优化等各种基准问题。

    Jul, 2022

  • 卷积条件神经过程

    本研究介绍了卷积条件神经过程 (ConvCNP)，它是神经过程家族中的新成员，能够建模数据中的平移等变性。研究表明，加入平移等变性的建模有助于更好地处理时间序列、空间数据和图像，而且卷积深度集能够实现任何平移等变嵌入。研究还证明，ConvCNP 在多个设置中取得了良好的性能，并且能够在挑战性的任务中实现零样本泛化。

    Oct, 2019

  • 群等变条件神经过程

    本文提出了一种具有置换不变性和数据空间变换等变性的元学习方法 EQuivCNP，其建立在数据集的置换不变性与常规条件神经过程（CNPs）相同，且具有转换等变性；结合群等变性提供了考虑现实世界中的数据对称性的方式，并使用李群卷积层构建体系结构进行实际实现，EquivCNP 在具有等变性的情况下能够实现零样本泛化。

    Feb, 2021

  • 极坐标变换网络

    通过极坐标变换网络 (PTN)，将等变性的概念从旋转扩展到卷积神经网络中的平移和旋转，并在旋转后的 MNIST 数据集和 SIM2MNIST 数据集 (包括平移、旋转和缩放的 MNIST 的变体) 上实现了最先进的结果设置。

    Sep, 2017

  • 使用 Transformer 神经过程的上下文学习

    神经过程（NPs）是一类强大的元学习模型，旨在逼近元数据集中每个数据集从中抽样得到的地面真实随机过程的后验预测映射。我们在 NP 中增加了集成其他类似数据集的功能，描述了此范例作为上下文中的上下文学习。标准的 NP 架构（如卷积条件 NP（ConvCNP）或转换器神经过程（TNPs）系列）无法进行上下文中的上下文学习，因为它们只能在单个数据集上进行条件。我们通过开发上下文中的伪标记 TNP（ICICL-TNP）来解决这个问题。 ICICL-TNP 基于 PT-TNPs 系列，利用基于伪标记的转换器架构来规避常规转换器架构的二次计算复杂性。重要的是，ICICL-TNP 能够在数据点集和数据集集上进行条件修正，从而实现上下文中的上下文学习。我们在多个实验中证明了上下文中的上下文学习的重要性和 ICICL-TNP 的有效性。

    Jun, 2024

  • 利用等变神经网络进行翻译恢复

    本文提出了一种预分类器恢复器，以恢复被平移（甚至旋转）后的输入到原始输入，该恢复器基于用于张量空间上的平移等变的充分必要条件。

    Jun, 2023

  • 等变换器网络

    使用具有等变性函数的规范坐标系构建了一种不同 iable 的图像到图像映射，称为 ET（Equivariant Transformers），并证明了它能够在提高模型强健性方面进行灵活组合，从而使得在现实世界的图像分类任务中，相对于 ResNet 分类器，ET 能够在数据有限情况下提高最多 15% 的分类效果而只增加不到 1% 的模型参数。

    Jan, 2019

  • 等变换器即所需

    通过引入对称等变性注意力机制，我们将其应用于自学习蒙特卡洛方法，并在二维格上的自旋 - 费米模型中观察到类似于大型语言模型的缩放率的接受率，并克服了线性模型的低接受率。

    Oct, 2023

  • 学习隐式神经表示的多功能神经过程

    本文提出了一种较为高效的神经过程模型 Versatile Neural Processes（VNP），通过引入瓶颈编码器和多个全局潜在变量的分层学习，能够有效地逼近和建模复杂信号的分布，其有效性在 1D、2D 和 3D 信号建模中得到证实。

    Jan, 2023