该研究提出了一种名为随机深度的训练方法,通过随机地去掉一部分神经网络层,降低训练时间,提高测试准确率,特别是对于残差网络这样深层数学习模型的训练和测试效果都得到了大幅提升。
Mar, 2016
VA-DepthNet 是一种基于首阶变分约束的神经网络方法,能够在单张图像中预测场景深度,摒弃了简单监督学习方法所忽视的场景空间不变性和先验知识,并在多个基准数据集上得到了较高的预测准确度。
Feb, 2023
本研究提出一种基于贝叶斯方法的神经网络架构参数估计方法,通过学习这些参数的具体分布来实现。研究表明,具有学习结构的正则网络在小数据集上可以更好地泛化,而完全随机化的网络可以更强健地处理参数初始化。与基于随机搜索的架构搜索不同,所提出的方法依赖于标准的神经变分学习,不需要对模型进行重新训练,从而最小化计算开销。
Jan, 2019
本文提出了一种新的方法来提高深度图像的空间分辨率,使用深度全卷积神经网络和非局部变分方法在深度的原始 - 对偶网络中结合起来,通过训练我们的联合方法,可以优化卷积网络和变分方法及其优化过程等所有参数。评估表明,该方法在多个基准测试中性能优于现有技术。
Jul, 2016
通过对神经网络的深度进行概率推理,我们能够只需一次前向传播,就能估计模型的不确定性。在真实的回归和图像分类任务中,我们验证了这一方法的效果,并证明它能提供不确定度校准、对数据集变化的鲁棒性和与计算成本更高的基线准确度相当的预测结果。
Jun, 2020
本文提出了一种新的网络剪枝方法,通过神经结构搜索直接搜索灵活的通道和层大小, 最小化剪枝网络的失误实现通道和层大小的学习,提高了传统的网络剪枝方法, 并有效地区别了不同搜索和知识转移方法的效果。
May, 2019
本文提出了一种基于深度神经网络的自动化设计架构的新框架,该框架使用强化学习代理作为元控制器,通过功能保持变换在当前网络的基础上,尝试增加网络深度或层宽。在 CIFAR-10 和 SVHN 基准数据集上的测试表明,该方法在受限的计算资源下可以设计出具有高竞争力的网络,并在不使用跨层连接的条件下实现了 4.23%的测试误差率。
Jul, 2017
系统地在运行时适应网络深度可以有效地控制推理延迟并满足各种设备的资源条件。本文提出了一种适应深度网络的架构模式和训练方法,在单个网络中提供灵活的准确性 - 效率权衡。
Dec, 2023
本研究提出了一种使用结构化变分推断或结构化神经深度搜索的新型主动学习策略,在神经网络深度搜索期间使用梯度下降方法,并理论证明了基于平均场假设的当前 VI 方法可能导致性能不佳。通过应用三种查询技术和三个数据集,表明我们的策略优于当前方法。
Jun, 2023
本文针对深度神经网络中变化深度的问题提出一种可控的神经网络结构,使用变分贝叶斯的方法进行训练,在诸多任务中均取得了优异的表现。