深度学习案例研究：简单胜于复杂
本文提出了一种针对深度学习神经网络训练时间预测的方法，通过训练神经网络预测每部分的执行时间，从而得出整体的深度学习网络训练时间，可以用于推断每个批次或整个 epoch 的执行时间，也可以支持选择适当的硬件和模型。
Nov, 2018
本文概述了在大规模深度学习中如何优化模型的准确性和效率，讨论了优化中使用的算法、大批量训练中出现的泛化差距问题，并回顾了最新的解决通信负担和减少内存占用的策略。
Nov, 2021
深度学习技术在软件开发过程中的应用，特别是在自动化代码审查、错误预测和测试生成，以提高代码质量和开发效率方面进行了研究。通过一系列的实证研究，比较了使用深度学习工具的实验组和使用传统方法的对照组在代码错误率和项目完成时间方面的差异。结果表明实验组有明显改善，验证了深度学习技术的有效性。研究还讨论了深度学习在软件开发中的潜在优化点、方法论和技术挑战，以及如何将这些技术融入现有的软件开发工作流程。
Apr, 2024
本文提出了一种学习自我学习模型和一些实用技巧，以优化损失函数的训练问题，其优化器在许多任务上优于通用的优化算法和 DeepMind 的学习优化器，包括深度 MLP、CNN 和简单的 LSTM。
Mar, 2017
通过对深度学习应用的依赖程度的分析，本文发现目前的进展主要依赖计算能力的提升。然而，这种趋势在经济、技术和环境上都具有不可持续性。因此，要想在这些应用领域取得更进一步的进展就必须依靠更为高效的计算方法，这要么意味着改变深度学习的方法，要么就是使用其他机器学习方法。
Jul, 2020
该研究综述了针对边缘计算的深度学习模型设计自动化技术，包括自动神经架构搜索、自动模型压缩和联合自动设计和压缩，并提出了未来研究的方向。
Aug, 2022
过去十年来，深度学习模型在各种视觉感知任务中取得了显著进展，但其高计算资源需求限制了其在实际应用中的可行性。本综述通过四个关键领域的研究，即轻量级骨干模型的发展、面向特定计算机视觉任务的专用网络架构或算法、深度学习模型压缩技术以及在硬件平台上部署高效深度网络的策略，对计算效率高的深度学习进行了广泛分析，并讨论了该领域面临的关键挑战和未来研究方向。
Aug, 2023
该论文论述了深度学习虽然备受欢迎，但在商业分析领域普及存在困难，原因是计算复杂度、数据结构、缺乏透明度（黑匣子）和人才短缺等问题，而且在结构化数据集上无法优于传统的机器学习模型。因此，应该把深度学习视为现有机器学习模型的有力补充，而非通用解决方案。
May, 2022