Mar, 2022

自适应 n 元激活函数用于概率布尔逻辑

PDF
TL;DR研究文章探讨了如何使用 n-ary 激活函数来填补高维模型中的可信复杂性和效率计算框架之间的空白，通过梯度优化来逐渐消除过剩复杂度，并使用零参数相关性表示对置信表进行建模和推断，从而加速对参数而非像素的优化。
model complexitycomputational frameworkactivation functionsprobabilistic formulationsparameter sparsity
发现论文，激发创造
  • 概率二元神经网络

    本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet，通过随机性避免了对 sign () 等不可微函数的梯度的逼近，并仍在测试时获得完全的二进制神经网络。 此外，它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。

    Sep, 2018

  • 人类可理解神经模型的参数化 Uninorm 样激活函数

    该研究提出了一种基于参数化可导激活函数的深度学习模型，利用尼尔波特模糊逻辑和多准则决策方法来确定学习参数，成功将其应用于 UCI 机器学习数据库中的分类问题，从而找到输入特征间的可解释关系。

    May, 2022

  • 布尔逻辑作为一个错误反馈机制

    布尔逻辑反向传播，离散优化问题，收敛分析

    Jan, 2024

  • 1-Lipschitz 神经网络基于 N - 激活的表达更加丰富

    通过研究激活函数的角色，论文揭示了常用的激活函数以及两段式分段线性函数在表达函数时的局限性，并介绍了一种新的 N - 激活函数，证明其比目前流行的激活函数更具表达能力。

    Nov, 2023

  • 三层神经网络非多项式激活函数的记忆容量

    神经元、前馈神经网络、激活函数、插值、插值能力

    May, 2024

  • 用于量子神经网络的量子激活函数

    利用量子计算机实现任意解析激活函数的量子算法填补了量子感知机领域的空白，使得任何前馈神经网络都能获得 Hornik 定理的通用逼近性质，从而使得机器学习、模式识别和聚类等问题更易于解决。

    Jan, 2022

  • 多项式激活函数的图神经网络具有有限表达性

    图神经网络的表达能力可以完全用合适的一阶逻辑片段来描述。本文通过证明 GC2 查询不能由具有多项式激活函数的图神经网络表示，证明了多项式和流行的非多项式激活函数之间存在分离关系。

    Oct, 2023

  • ProbAct: 一种用于深度神经网络的概率激活函数

    本文提出了一种概率性的激活函数 ProbAct，通过对输入进行采样，从而使其变为具有随机性的激活函数，进而应用于神经网络中，实验结果表明，与 ReLU 等传统激活函数相比，ProbAct 在分类任务中的准确率提高了 2-3％。

    May, 2019

  • 可训练激活函数的稀疏神经网络贝叶斯优化

    本文提出了一种可训练的激活函数，使用贝叶斯建模自动估计学习数据中的模型权重和激活函数参数，并使用基于 MCMC 的优化方案进行推断，通过使用有效的采样方案来提高收敛速度并减少过度拟合问题，取得了良好的检验结果，并通过激活函数提高了模型的准确性。

    Apr, 2023

  • 理性神经网络

    本文探讨了神经网络中的有理激活函数，证明了有理神经网络比指数小的深度下的 ReLU 神经网络更高效地逼近光滑函数，并通过数值实验证明了有理激活函数的灵活性和平滑性使其成为 ReLU 的有吸引力的替代选择。

    Apr, 2020