Jun, 2023

有限证明定理通过神经内射函数实现多集合、度量和图形

PDF
TL;DR本文通过证明非多项式激活的神经网络矩阵可以定义一个可逆的多重集合函数，来填补理论和实践之间的差距。作为推论，我们推导了有关多重集合和测度函数的新逼近结果，以及图神经网络的新分离结果。
machine learningmultisetsneural networkinjectiveapproximation
发现论文，激发创造
  • 全局可逆和双射的神经算子

    本文研究了运算符学习及其在神经网络中的应用，讨论了学习的运算符是单射和满射的情况，得出了一些充分条件。文章证明了所提供的单射神经运算符是通用逼近器，其有限秩神经网络实现仍然是单射的，最后还考虑了子网络的单射和满射性及其在贝叶斯不确定性和反问题中的应用。

    Jun, 2023

  • 关于多集合和图神经网络的 Holder 稳定性

    通过对多重集模型和消息传递神经网络的分离质量进行分析，我们提出了两个分离质量更高的新型消息传递神经网络，以及在标准图学习任务上与标准消息传递神经网络进行的比较。

    Jun, 2024

  • 有限权重神经网络的逼近的测度论结果

    本文研究带有有限方向和阈值变化的单隐层神经网络的逼近性质，并且获得衡量该网络在连续函数空间中密度的充分必要条件。此外，我们针对特定构造的激活函数和固定数量的神经元证明了网络密度的结果。

    Apr, 2023

  • 关于 MPNN 中的特征向量维度性

    通过引入随机性来优化 MPNN (WL) isomorphism 测试的结果，本研究证实，对于任何非多项式解析 (如 sigmoid) 的激活函数，只需特征向量的维度 d=1，独立于图的大小，即可保证 MPNN 等价于 WL 测试。

    Feb, 2024

  • 关于图神经网络的能力与激活函数的作用

    活动函数不同，图神经网络在两层迭代中可以区分两个非同构树的根节点，但是若网络的大小被限制，其区分能力将受到限制。

    Jul, 2023

  • 向量和张量上置换不变函数的通用表示

    我们的研究主要探讨了多集函数的通用表示和潜空间维度，通过深度集合的模型，我们证明了在连续和不连续多集函数中通用表示是可行的，并提供了一个特殊的求和分解结构用于在可识别张量上进行通用表示。

    Oct, 2023

  • 神经网络的逆问题

    利用神经网络和分段线性激活函数计算集合的原像问题，证明了多面体集合的原像仍然是多面体集合的并集且可有效计算，展示了计算神经网络原像在分析和解释性方面的几个应用。

    Aug, 2023

  • 流行人工神经网络激活函数的统一

    我们提出了一种统一的神经网络激活函数表示形式，采用分数阶微积分的 Mittag-Leffler 函数，该形式能够插值不同的激活函数并减轻神经网络训练中普遍存在的梯度消失和梯度爆炸等问题。使用 Lenet-5 神经网络在 MNIST 和 CIFAR-10 数据集上训练，我们证明采用统一的门控表示法是传统机器学习框架中内置的激活函数实现的一种有前途且经济的替代方案。

    Feb, 2023

  • 神经网络在概率测度空间和树形域上的逼近能力

    该论文将神经网络的密度证明扩展到在概率密度函数紧致集合中的连续函数，进而给出了树形结构域的通用逼近定理，在结构化数据处理中具有重要的实际应用，这是 AutoML 范例的一个很好的例子。

    Jun, 2019

  • 神经功能变换器

    本文使用注意力机制定义了一组新颖的置换等变的权值空间层，并将它们组合成深度等变模型，称为神经功能变压器 (NFTs)，并利用 NFTs 开发了 Inr2Array，一种从隐式神经表示的权重中计算置换不变潜在表示的新方法。

    May, 2023