神经数据服务器：用于迁移学习数据的大规模搜索引擎
该研究提出了一种基于DeepTracker的可视化分析系统，结合分层索引机制、分层小满足和立体立式可视化等，帮助专家探索CNN训练过程中的丰富动态，更好地理解其过程并加速训练。通过三个案例研究，证明了该系统在训练ResNet-50模型上具有重要作用。
Aug, 2018
该研究试图从泛化、优化和可转移性的角度理解神经网络的迁移能力，发现模型的可转移性与目标数据集的相似度、训练阶段以及转移参数的一些特性相关，包括使损失函数更加有利，加快和稳定训练过程。
Sep, 2019
本文探讨了在计算机视觉问题中使用预训练模型和迁移学习进行优化的方法，提出了一种名为Big Transfer（BiT）的简单而强大的预训练方法，该方法结合了几个精心选择的组件，并使用简单的启发式方法进行转移，使得在20多个数据集上实现了良好表现。
Dec, 2019
本文介绍了一种基于神经架构搜索（NAS）的新方法，称为神经架构传递（NAT），该方法可将已训练的超网络集成到在线迁移学习和多目标进化搜索流程中，以快速生成适用于多个应用场景的任务特定定制模型，并在11项基准图像分类任务中证明了其有效性。
May, 2020
利用神经切向核和输入空间中的线性区域数来排名结构，通过 TE-NAS 框架进行训练 - free 的神经体系结构搜索，使用基于剪枝的 NAS 机制进行灵活且优越的权衡，实现在CIFAR-10和ImageNet上只花费0.5和4 GPU小时完成的高质量搜索。
Feb, 2021
本文提出了Block-wisely Self-supervised Neural Architecture Search (BossNAS)方法，包括定义可搜索的CNN-transformer混合结构搜索空间HyTra、以及新型自监督训练策略ensemble bootstrapping。在此挑战性的搜索空间上，作者搜索得到的模型BossNet-T在ImageNet上可达到82.5%的准确率，且在MBConv和NATS-Bench大小的搜索空间上均有较高的最优架构效果。
Mar, 2021
本文提出了TransNAS-Bench-101，这是一个包含七个视觉任务的基准数据集，旨在鼓励研究跨任务搜索效率和通用性的顶尖神经结构搜索算法，同时提供两种不同类型的搜索空间。
May, 2021
本论文从深度迁移学习定义开始，概览了图像分类领域中当前发展情况及存在的知识空白，并提出了一种新的迁移学习应用分类法以帮助更好地理解迁移学习的成效和问题所在。
May, 2022
本论文提出了一种大规模的搜索引擎（Scalable Neural Data Server），它可以理论上索引数千个数据集以提供相关的机器学习数据给最终用户，通过使用中介数据集表示数据源和下游任务，使得SNDS用户产生的计算成本随着新数据集的添加而保持不变，并通过验证发现，SNDS推荐的数据可以提高基线模型的性能。
Jun, 2022
本教程针对深度学习中的卷积神经网络（CNN）和监督回归进行了全面而紧凑的讨论，填补了现有资源中基础而严谨的教程空缺。文章强调学习理论、统计学与机器学习之间的强大协同作用，旨在为学生和教授提供了解深度学习基础的理想资源。该工作展示了对深度学习概念的深入解析，提高了学习的可及性和系统性。
Aug, 2024