向量和张量上置换不变函数的通用表示
研究介绍了深度集模型的理论分析，发现只有当模型的潜空间具备足够高维度时，其可以作为连续集函数的通用逼近器。同时指出深度集模型可以被看作是 Janossy 池化范例的最有效体现，阐述了其在集合学习中的广泛应用以及问题。
Jul, 2021
本文研究函数在集合中的表示，借助于集合中求和的潜在空间来实现置换不变性。研究表明，基于离散映射实现的模型具有高度间断性，只有通过连续映射（如神经网络或高斯过程）实现的模型，才能对潜在空间的维度施加约束。为实现输入集合的通用函数表示，必须使潜在维度至少为输入元素的最大数量。
Jan, 2019
研究设计用于基于集合的机器学习任务模型的问题，提出一种特殊结构的函数族，设计可以在未监督和监督学习任务中应用的深度网络架构，并演示了在人口统计估计，点云分类，集扩展和异常检测等任务上的应用。
Mar, 2017
本研究旨在通过学习置换不变表征来捕捉 “灵活的” 包含概念，并通过多重集的测量理论定义形式化此问题，提出理论动机的学习模型，并提出在新任务上进行训练：预测多重集对之间的对称差（或交集）的大小。我们展示了我们的模型不仅在预测包含关系方面表现出色（比具有无约束对象表示的 DeepSets 方法更有效地预测对称差和交集的大小），而且还学习了有意义的表示。
Nov, 2019
研究了使用深度格网网络模型进行变长置换不变的特征向量聚合来预测标签，并添加输入和输出之间的单调性约束以提高可解释性。同时使用所提出的集合函数来从稀疏分类特征中自动化工程密集且可解释的特征，称为语义特征引擎。在实际数据上的实验表明，其准确性类似于深集合或深度神经网络，并且更易于调试和理解。
May, 2018
传统机器学习算法通常基于假设输入数据以向量形式存在，重点关注以向量为中心的范式。然而，随着需要处理基于集合输入的任务的增长，研究界面对这些挑战的关注已发生了范式转变。近年来，像 Deep Sets 和 Transformers 这样的神经网络架构的出现，为处理基于集合的数据提供了重大进展。这些架构专门设计用于自然地处理集合作为输入，从而更有效地表示和处理集合结构。因此，出现了大量致力于探索和利用这些架构在近似集合函数方面的能力的研究努力。这篇综述旨在概述有关近似集合函数的神经网络的多样化问题设置和正在进行的研究工作。通过深入研究这些方法的复杂性并阐明相关挑战，这篇综述旨在使读者全面了解该领域。通过这个全面的视角，我们希望研究人员可以获得关于基于集合神经网络的潜在应用、固有限制和未来发展方向的有价值的见解。事实上，通过这篇综述，我们得出两个观察结果：i) Deep Sets 及其变种可以通过聚合函数的差异进行泛化；ii) Deep Sets 的行为对聚合函数的选择敏感。通过这些观察结果，我们展示了 Deep Sets 这一众所周知的具有置换不变性的神经网络可以在拟合类算术平均意义上进行泛化。
Mar, 2024
该论文提出使用复数加权多重集自动机来表示多重集，并展示了某些现有神经结构的多重集表示可以被视为我们方法的特殊情况，进而提供了 Transformer 模型使用正弦函数表示位置的新理论和直观证明，并扩展 DeepSets 模型以使用复数，在拓展任务上优于现有模型。
Jan, 2020
本文研究了有限群 $G$ 的 $G$- 不变 / 等变函数与深度神经网络之间的关系，特别是对于给定的 $G$- 不变 / 等变函数，我们通过深度神经网络构建其通用逼近器，其中每层都具有 $G$- 作用，每个仿射变换都是 $G$- 等变 / 不变。由于表示论，我们可以证明这种逼近器具有比通常模型少得多的自由参数。
Mar, 2019
给定对称群 $S_n$ 的任何子群 $G$，我们研究了 $G$ 的不变函数对 $G$ 的不变多项式的均匀 $C^k$ 逼近，特别是对于完全对称函数的情况，我们表明这导致了 Zaheer 等人（2018）关于和分解 Deep Sets 的假设，其中内部和外部函数都可以选择为光滑函数，并且内部函数可以选择与所逼近的目标函数无关。
Mar, 2024