Set Transformer: 基于注意力机制的置换不变神经网络框架

ICMLOct, 2018

Set Transformer: 基于注意力机制的置换不变神经网络框架

Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks

Juho Lee, Yoonho Lee, Jungtaek Kim, Adam R. Kosiorek, Seungjin Choi...

TL;DR介绍了一种解决多实例学习和 3D 形状识别等问题的神经网络模型 Set Transformer，该模型使用注意力机制来模拟输入集合中元素之间的交互，并且引入了一种减少计算复杂度的基于诱导点的注意力方案，实验结果表明，在处理集合结构数据时，该模型具有比其他最新方法更高的性能表现。

Abstract

Many machine learning tasks such as multiple instance learning, 3D shape recognition, and few-shot image classification are defined on sets of instances. Since solutions to such problems do not depend on the order of elements of the set, models used to address them should be permutatio

machine learning neural network attention mechanism set transformer set-structured data

发现论文，激发创造

集合互相依赖变换器：用于排列学习和结构预测的序列到序列神经网络

通过交互依赖组件提升了注意力机制在 neural set encoding 的处理能力，提出了一个新的神经网络模型叫做 Set Interdependence Transformer，可用于处理各种基于集合的序列任务，如句子排序等。

Jun, 2022

排列不变神经网络

传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。

Mar, 2024

使用 Transformer 进行有条件的集合生成

本文介绍了 Transformer Set Prediction Network (TSPN)，一种基于变换器的灵活的置换等变模型，用于集合预测，它在预测集合元素的质量和准确性方面超过了 DSPN，并测试了该模型在 MNIST-as-point-clouds (SET-MNIST) 和 CLEVR 数据集上。

Jun, 2020

点变换器

该研究介绍了一种名为 Point Transformer 的神经网络，它直接处理无序和无结构的点集，通过引入局部 - 全局注意机制获取局部和全局特征，并通过引入 SortNet 确保输入置换不变性。Point Transformer 的输出是一个排序并且置换不变的特征列表，可直接用于常见的计算机视觉应用。研究结果表明，与先前的工作相比，其在标准分类和部分分割基准测试中具有有竞争力的结果。

Nov, 2020

Transformer 可推广至 DeepSets，并可扩展至图和超图

本文将 Transformer 推广到任意排列不变数据（集合，图和超图），提出了高阶 Transformer 用于处理 $k$ 阶数据，通过稀疏化和核化注意力等手段降低了复杂度并在大规模图回归和集合预测任务中获得了显著性能提升。

Oct, 2021

Voxel Set Transformer：一种从点云进行三维物体检测的集合 - 集合方法

本研究提出了一种名为 Voxel Set Transformer（VoxSeT）的基于体素的体系结构，以检测点云中的三维物体，并结合 Transformer 的高性能和体素模型的效率，有效地管理任意大小的体素化点簇并以线性复杂度并行地处理它们，可用作卷积和基于点的骨干的良好替代方法。

Mar, 2022

SeTformer 用于视觉和语言的所需之物

SeTformer 是一种新型的 transformer 模型，将 DPSA 纯粹替换为 Self-optimal Transport（SeT），以实现更好的性能和计算效率，它在视觉和语言任务中取得了最先进的结果。

Jan, 2024

基于 Transformer 的机器翻译中固定编码器自注意力模式

使用简单固定的关注模式替换 Transformer 中编码器层的大多数注意力头对神经机器翻译的质量没有影响，并且在资源匮乏的情况下，甚至可以将 BLEU 评分提高 3 个点。

Feb, 2020

注意力全是你需要的

本文提出一种基于注意力机制的 Transformer 模型，优于使用循环或卷积神经网络的现有机器翻译模型，且可并行训练、训练时间更短，使得 BLEU 评分得以显著提高，并成功将该模型应用于英语句法分析等任务。

Jun, 2017

超网络中的注意力

使用超网络将多头注意力重新定义为低维潜在代码来加强 Transformer 的组合泛化能力，在抽象推理任务上展示了模型规模和数据扩展如何实现组合泛化并生成功能结构化的潜在代码。

Jun, 2024