Nov, 2021

超越周期性：朝向协同多层感知器激活的统一框架

PDF
TL;DR本文研究了在 Coordinate-MLPs 中 activation function 的影响，提出了一类比正弦函数更加鲁棒的非周期函数，并鼓励在 Coordinate-MLPs 中使用这些非传统的激活函数来提高性能和简化模型。
coordinate-mlpssinusoidal activationnon-periodic functionposition embeddingsignal fidelity
发现论文，激发创造
  • 通过训练动态了解基于坐标的多层感知器的谱偏差

    本研究通过梯度混淆，对基于坐标的多层感知器（coordinate-based MLP）中的谱偏差进行了研究，发现当表现能力受限时混淆程度增加，导致其收敛速度变慢，同时也发现了谱偏差降低时激活区域的特性。

    Jan, 2023

  • 用调制周期激活实现可推广的本地功能表示

    本文提出了一种使用双重 Multi-Layer Perceptrons（MLPs）体系结构的信号表示方法，其中合成网络创建了从低维输入到输出域的功能映射，调制网络将目标信号对应的潜在代码映射到调制周期激活的参数，实现了图像、视频和形状的可推广的功能表示，并实现了比单一信号优化的先前工作更高的重建质量。

    Apr, 2021

  • 通用激活：多变量投影

    基于结构相似性，通过将 ReLU 替换为广义投影算子，将其扩展为具有多个输入和多个输出的多元投影单元 (MPU)，证明了在表达能力方面，由 SOC 投影激活的 FNN 优于利用 ReLU 的 FNN。实验评估进一步证实了 MPU 在更广泛的现有激活函数范围内的有效性。

    Sep, 2023

  • 神经网络激活函数的作用

    本文通过样条理论的角度展示了神经网络训练问题与函数的 Banach 空间有关，进一步论述了 ReLU 等激活函数的重要性，解释了神经网络设计与训练策略如何影响其性能，并为路径范数正则化及跳连等策略提供了新的理论支持。

    Oct, 2019

  • 神经网络无法学习周期函数及其解决方法

    使用新型激活函数 $x + sin^2 (x)$，结合传统 ReLU 激活函数的优势，来解决传统激活函数（如 ReLU、tanh、sigmoid 等）在学习周期函数方面的普遍失败。经实验证明，该方法能够成功地预测温度和金融数据。

    Jun, 2020

  • 具有周期性激活函数的隐式神经表示

    提出了一种新的神经网络模型 —— 正弦表示网络，可以用于处理带有细节特征的复杂信号及其导数，可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题，并且可以通过超网络学习 Siren 函数的先验知识。

    Jun, 2020

  • 一种对隐式神经表示激活的采样理论视角

    使用隐性神经表示 (INRs) 对信号进行紧凑、可微的编码已经越来越受青睐。本研究从采样理论的角度对常用的正弦位置编码、非传统激活函数等技术进行了全面分析，发现在信号编码中 sinc 激活函数从理论上来讲是最优的，同时我们还建立了动力系统和 INR 之间的联系，利用采样理论来连接两种范式。

    Feb, 2024

  • xMLP：用专有方块激活革新私有推断

    使用方形激活函数的新型深度神经网络架构 xMLP 在保持准确性和效率方面与使用 ReLU 的网络相当，在 CIFAR-100 和 ImageNet 上实验结果表明，xMLP 模型相比 ResNet 模型在激活层和参数数量较少的情况下始终表现更好。与最先进的隐私推断（PI）模型相比，xMLP 在提升了 0.58% 的准确率的同时加快了 7 倍的 PI 速度，同时在相同的 PI 延迟下还提升了 4.96% 的准确性，当将 PI 转移到 GPU 时，xMLP 比之前最先进的 PI 模型快了多达 700 倍，并具有可比较的准确性。

    Mar, 2024

  • 周期激活坐标网络的神经切比雪夫核分析

    用神经网络理论分析周期激活神经网络，证明其在视觉任务中表现出优越性能，并对其神经切线核进行了研究，得出周期激活网络在 NTK 视角下比 ReLU 激活网络更好。研究还对网络的记忆能力进行了实证验证，为周期激活神经网络的性质提供了深入理解。

    Feb, 2024

  • 利用 Hermite 多项式激活在半监督学习中生成准确的伪标签并避免过于自信的预测

    本文探讨如何使用 Hermite 多项式作为替代 ReLUs 在深度网络中，特别是在半监督学习 / 传递学习方面的应用。使用 Hermite 多项式基于激活函数可以带来伪标签的精确性和显着的财务储蓄的提高。此外，通过理论分析，证明了基于 Hermite 激活函数的网络具有鲁棒性和其他吸引人的数学属性。

    Sep, 2019