NIPSJun, 2018

深度算法：网络设计

PDF
TL;DR提出了一种新的神经网络设计方法，其中引导传统算法设计。通过提出两种启发式算法并演示将额外权重合并到其信号流程图中的算法技术，证明了这点。展示了这些网络的性能不仅可以超过初始网络的性能，而且可以达到更传统神经网络架构的性能水平。我们方法的一个关键特征是这些网络的参数初始化具有对于给定任务的体系结构的已知性能阈值。
design methodologyneural networksalgorithm designtrainingperformance
发现论文，激发创造
  • 深度神经网络结构设计的优化算法启发

    本文提出了一种通过优化算法启发设计深度神经网络结构的方法，研究者们发现，用斜率下降算法替代传统的梯度下降算法有望提高神经网络的速度和性能，并在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上取得了优于 ResNet 和 DenseNet 的结果。

    Oct, 2018

  • 元启发式设计前馈神经网络：二十年研究综述

    本文总结了传统和元启发式方法，连接了神经网络进化，合作共同进化 NN，复数 NN，深度学习，极端学习机，量子 NN 等的研究方向，提出了未来应对现代信息处理的有趣研究挑战。

    May, 2017

  • 可微分算法学习

    本论文探讨了算法监督的概念，提出了一种连续松弛算法的一般方法，定量评估了算法和神经网络的组合对性能和效率的增益，并探讨了在算法中引入可微性的各种不同技术和训练策略。

    Sep, 2022

  • 训练非常深的网络

    本文介绍了一种名为 “HighWay Network” 的新型深度神经网络模型，采用门控单元对信息流进行监控，以实现高效的信息传递，从而克服了训练深度神经网络的问题。

    Jul, 2015

  • 深度学习系统作为复杂网络

    该文章使用复杂网络中常用的技术研究了深度置信网络，以期获得从学习过程中得到的计算图的结构和功能特性的一些见解。

    Sep, 2018

  • AdaNet：人工神经网络的自适应结构学习

    本文提出了新的自适应学习人工神经网络的算法 (AdaNet)，可以同时自适应地学习网络结构和权重。通过大规模实验，证明该算法在二元分类任务中表现出色，并且与传统方法中得到的神经网络相比具有竞争力的性能准确性。

    Jul, 2016

  • 能否学习算法？使用循环网络从易到难问题进行泛化

    本文讨论了深度神经网络在视觉模式识别方面的强大能力，但在推理任务中仍然表现不足，引入了使用循环神经网络解决问题的算法，并通过前缀和计算，迷宫和棋类游戏等问题进行了实验研究。

    Jun, 2021

  • 图形算法的神经执行

    通过在算法空间中训练 Graph Neural Networks 来解决基于图结构的问题，使用基于最大化的信息传递神经网络来实现离散决策，同时实现了任务迁移并提升学习效果。

    Oct, 2019

  • 深度学习时代的无线网络设计：基于模型、基于 AI 还是两者都有？

    本文介绍了利用深度学习技术在未来的无线通信网络中的应用。通过论证，说明数据驱动的方法不应该取代传统的基于数学模型的设计方法，而应该互相补充。本文详细介绍了深度学习方法，包括人工神经网络，以及一些在无线通信网络领域中成功应用深度学习方法的案例研究。最后，本文描述了未来研究方向。

    Feb, 2019

  • 通过元启发式微调改善预训练权重

    使用启发式元算法优化预训练权重可改善机器学习分类任务的结果。

    Dec, 2022