swish | BriefGPT - AI 论文速递

关键词swish

搜索结果 - 5

使用分段线性单元学习专业的激活函数
提出了一种新的激活函数 Piecewise Linear Unit，它可以学习专门的激活函数，并在大规模数据集上获得 SOTA 性能，比 Swish 在 ImageNet 分类数据集上分别提高了 0.9%/0.53%/1.0%/1.7%/1
PDF3 years ago
EMNLP是时候使用 Swish 了吗？比较不同的 Deep Learning 激活函数在 NLP 任务中的表现
本文通过对 21 种激活函数进行了首次大规模比较，并发现所谓的惩罚性 tanh 函数在 8 种不同的自然语言处理任务中表现最为稳定，可替换 LSTM 细胞中的 sigmoid 和 tanh 门，在具有挑战性的自然语言处理任务中实现了 2 个
PDF5 years ago
ICML深度神经网络中激活函数的平均场理论
本文提出了深度神经网络的统计力学模型，将基于能量的方法和前馈神经网络方法相连接。模型的平均场解给出了一组自然活化函数，包括 Sigmoid、tanh、ReLu 和 Swish，研究表明 Swish 可以优化网络的性能
PDF6 years ago
寻找激活函数
本文提出利用自动搜索技术发现新的激活函数。通过详尽和强化学习的结合搜索，发现了多个新型激活函数，其中最佳的发现激活函数（称为 Swish）在许多困难数据集上比 ReLU 更有效。
PDF7 years ago
MMSWISH：用于共享的 SWI-Prolog
本文介绍了一种基于 Web 技术的 Prolog 编程语言的 Web 前端 SWISH，它能够用于运行小型程序的展示，并支持协作开发、在线教育等功能，并将 SWISH 嵌入在线 Prolog 书籍 “Learn Prolog Now!” 中
PDF9 years ago