Apr, 2023

采用双监管器有效利用大规模远程深度神经网络

PDF
TL;DR本文提出了一种名为 BiSupervised 的新型体系结构，可以在不牺牲系统准确率的情况下减少大规模远程模型的调用成本，并且可以检测不正确的输入。
deep neural networksresource-constrained devicesbisupervisedcost savingsinput detection
发现论文，激发创造
  • 训练神经网络的异常检测性能分析

    本文分析了三种 in - 和 out-of-distribution 数据的分离方法及其性能，包括超级监督的应用及其训练过程中的性能评估，研究表明理解训练结果与监督性能与提高模型强健性密切相关，为安全应用提供了论据，并应用于两个额外的数据集。

    Apr, 2022

  • 深度监督的综述：理论与应用

    本文系统全面地阐述了深度监督在神经网络学习系统中的理论和应用，并通过提出一种新的深度监督网络分类，探讨了当前计算机视觉应用中深度监督网络的优点和局限性。

    Jul, 2022

  • 对比深度监督

    本文介绍一种名为 Contrastive Deep Supervision 的新型训练框架，该框架使用基于 augmentation 的对比学习来监督中间层，从而在多种深度学习任务上取得了显著的效果。

    Jul, 2022

  • 使用中间概念的深度监督

    本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。

    Jan, 2018

  • 通过深层监督训练更深的卷积神经网络

    通过在训练过程中，在某些中间层之后添加辅助监督分支，形成深度监督结构，其训练更容易，且在 ImageNet 和较大的 MIT Places 数据集上获得更好的分类效果。

    May, 2015

  • 云、边缘和终端设备上的分布式深度神经网络

    分布式深度神经网络 (DDNN) 可以在云端、边缘设备和终端中适应深度神经网络的推断，由于其分布式特性，DDNN 增强了 DNN 应用程序的传感器融合、系统容错和数据隐私，通过将 DNN 映射到分布式计算层次结构中的不同组成部分并联合训练这些部分，我们最小化设备通信和资源使用并最大化提取特征的实用性。实验结果表明，DDNN 可以利用传感器的地理多样性来提高物体识别精度并减少通信成本。

    Sep, 2017

  • 无需无监督：在监督模型中实现改进的泛化

    提出了一种基于监督学习的训练方法，通过多尺度裁剪和扩展的 projector head 实现数据增强，通过使用 memory bank 计算类原型来提高转移能力，在 ImageNet-1K 数据集上实现新的最优表现，并在转移任务上优于现有方法。

    Jun, 2022

  • CheapET-3: 远程 DNN 模型的成本效益使用

    使用本地小型深度神经网络和远程大型模型复合的新软件架构，旨在在本地轻松进行预测，同时仍利用大型模型为具有挑战性的输入提供帮助，并在概念验证中使预测成本降低了 50％而不会对系统准确性产生负面影响。

    Aug, 2022

  • 多智能体下分布式深度神经网络学习

    提出了一种基于跨数据源的深度神经网络训练技术，旨在解决在健康医疗和金融等领域中标记数据和计算资源的短缺问题，并可以在数据敏感应用程序中进行分布式训练。

    Oct, 2018

  • 将无监督目标用于大规模图像分类的监督神经网络增强

    本研究通过在神经网络中添加重构的解码路径，探究了联合监督和无监督学习的应用，通过多种自编码器的比较，提高了在计算机视觉中的监督学习表现和 ImageNet ILSVRC 2012 协议下的准确率。

    Jun, 2016