May, 2024

带周期激活函数的指导与控制网络

PDF
TL;DR通过修改隐藏层中的周期性激活函数，我们演示了使用正弦表示网络（SIRENs）多功能性的指导与控制网络（G&CNETs）变种。我们展示了结果 G&CNETs 在三种不同的控制场景上训练更快并实现更低的整体训练误差，通过初步分析试图解释 SIREN 架构在 G&CNETs 擅长的特定任务类型上表现出色。
发现论文，激发创造
  • 具有周期性激活函数的隐式神经表示

    提出了一种新的神经网络模型 —— 正弦表示网络，可以用于处理带有细节特征的复杂信号及其导数，可以解决泊松方程、赫姆霍兹方程、波动方程等各种边界值问题，并且可以通过超网络学习 Siren 函数的先验知识。

    Jun, 2020

  • 循环控制循环网络

    该文提出了一种递归控制递归网络 (RCRN) 架构，利用递归网络学习递归门控函数，将其用于不同自然语言处理任务，结果表明 RCRN 在比双向 LSTM 和双向 LSTM 堆叠表现更好，具有代替双向 LSTM 堆叠的潜力。

    Nov, 2018

  • 异质图神经网络用于移动蜂窝系统的功率控制学习

    使用嵌入先验知识的 HetGNN 及参数共享方案来学习多用户多小区网络中的最优功率控制策略，相比于 DNN，其拥有更低的样本复杂度和较小的网络规模。

    Nov, 2020

  • GaterNet：CNN 中的动态滤波器选择

    本文提出了一种名为 GaterNet 的借助于门控网络实现的动态卷积神经网络滤波器选择框架，通过丰富 CNN 模型的学习方式，提高了模型性能并得出了比原论文更好的实验结果。

    Nov, 2018

  • PathSAGE: 随机路径采样的空间图注意力神经网络

    本文介绍一种名为 PathSAGE 的模型，它使用 Transformer 编码器聚合从中心节点开始的路径样本，以学习高阶拓扑信息，提高模型的性能，并避免了太深的 GCNs 可能会遇到的 “邻居爆炸” 和 “过度平滑” 问题，同时在归纳学习任务中达到了与最先进模型相当的性能表现。

    Mar, 2022

  • 放大正弦单元：一种用于深度神经网络的振荡激活函数，以有效恢复非线性振动

    通过引入具有振荡激活功能的深度神经网络结构，本文提出了一种应对微电机系统中非线性振动问题的方法，其中还使用了一些振荡和非振荡激活功能以进行综合分析；实验结果表明，此设计网络是更可靠和稳健的，可以有效应对非线性和振动的挑战。

    Apr, 2023

  • 门控路径规划网络

    将值迭代网络（VIN）重新构建为递归卷积网络，提出了门控路径规划网络（Gated Path Planning Network）并提出标准门控循环更新方程可以缓解优化问题，取得了比 VIN 更好的性能，可用于多种场景下的导航规划。

    Jun, 2018

  • 动态信道干扰取消 GAN 框架

    本研究提出了一种在线训练框架，用于快速适应于任何通道变化，以保持模型的最佳性能，该框架将最新的深度展开方法与对抗生成网络相结合，以捕获通道的任何变化并迅速调整网络，在高动态通道上显著优于最近的神经网络模型，并在我们的实验中甚至超过静态通道的性能。

    Aug, 2022

  • 神经网络无法学习周期函数及其解决方法

    使用新型激活函数 $x + sin^2 (x)$，结合传统 ReLU 激活函数的优势，来解决传统激活函数（如 ReLU、tanh、sigmoid 等）在学习周期函数方面的普遍失败。经实验证明，该方法能够成功地预测温度和金融数据。

    Jun, 2020

  • 门控图循环神经网络

    本文介绍了图递归神经网络 (GRNNs) 作为一种利用递归隐藏状态与图信号处理 (GSP) 相结合的学习框架，以学习来自于图处理中的时空结构。结果表明，GRNNs 在长期依赖问题上的表现优于 GNNs 和 RNNs。

    Feb, 2020