介绍了深度学习和神经网络模型（如卷积神经网络、递归神经网络、生成对抗网络）以及训练技术（如随机梯度下降、dropout、批量归一化）的统计学观点，强调了深度学习的新特征（包括深度和过参数化）及其实际和理论上的好处，同时探讨了深度学习的理论基础和最新研究成果；期望为新的统计研究提供一种思路。

Apr, 2019

本文通过详细调查从 2017 至 2022 年间提出的 Transformer 模型，分析了其在自然语言处理、计算机视觉、多模态、音频和语音处理以及信号处理等领域中的应用及其对应的任务，并提供了一种分类法，以期为进一步研究及其未来的应用提供参考。

Jun, 2023

本文概述了深度学习的一些关键多层人工神经网络以及使用多智能体方法的新型自动体系结构优化协议；以及深度学习在异常行为检测、预测和预测分析、医学图像处理和分析、电力系统研究等应用领域的探索性调查。

May, 2019

本文综述了深度学习方法的发展历程及其在图像处理、语音识别、智能控制等多个应用领域的优异表现，并讨论了深度学习方法中的各种高级技术，如深度神经网络、卷积神经网络、长短期记忆网络等。同时，本文还提供了近期开发的框架、软件开发工具以及评估数据集来帮助开发者实现和评估深度学习方法。

Mar, 2018

本文通过分类讨论搜索空间、搜索策略与性能估计策略三种维度，为神经架构自动搜索方法的存在研究提供了一个概述。

Aug, 2018

介绍了人工神经网络中激活函数的主要概念及其作用，讨论了各种激活函数类型、应用、限制和替代方案。

Apr, 2022

介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。

Nov, 2023

本文综述了现有的方法，囊括了计算机领域中的神经体系结构搜索、自动化方法和深度学习等方面，内容包括常用的体系结构搜索空间和基于强化学习和进化算法的体系结构优化算法、模拟模型和单次模型。同时，文章对新的研究方向进行了探讨。

May, 2019

这篇文章总结了深度神经网络在模式识别和机器学习中的应用，包括深度监督学习、无监督学习和强化学习，在搜索深层网络的过程中进行了间接搜索。

Apr, 2014

综述了深度学习在计算机视觉、自然语言处理、时间序列分析和普适计算领域的最新模型以及其在解决各个领域问题中的有效性，并介绍了深度学习的基础知识、各种模型类型以及重要的卷积神经网络架构，并讨论了深度学习研究的挑战和未来方向。

Mar, 2024