NIPSAug, 2020

辅助网络：针对动态系统的可扩展和灵活的在线学习，处理不一致可用输入

PDF
TL;DR该研究提出了一种基于深度学习的模型 —— 辅助网络（Aux-Net），其采用加权集成分类器来处理输入特征数量的变化，具有可扩展性和敏捷性。Aux-Net 基于对冲算法和在线梯度下降算法，使用单次学习中的深度变化模型，适用于动态复杂环境，使能够处理不连贯的输入数据。在公共数据集上，实验证明了辅助网络的有效性。
发现论文，激发创造
  • 自主学习神经网络结构

    本研究旨在解决大规模多标签视觉识别问题，通过在已训练的神经网络分类器中增加辅助容量的方法，以极小的影响计算规模的前提下，显著提高模型的性能，并采用网络自身的预测作为评估视觉相似性的描述符，将标签空间划分为视觉上相似的实体组，通过增加辅助隐藏层通路，仅连接到这些标签单元组，从而在大规模对象识别任务中报告了显著的平均精度改善，同时将乘加操作数的数量增加了不到 3%。

    Dec, 2014

  • 增强辅助网络的有监督局部学习扩展

    提出了一种名为 AugLocal 的增强本地学习方法，通过选择其后续网络层的小部分层来增强它们之间的协同作用，解决了本地学习方法在大规模网络中与 BP 方法之间的精度差距问题，并减少了 GPU 内存使用量约 40%，为资源受限平台上训练高性能深度神经网络带来了许多机会。

    Feb, 2024

  • Aux-Drop: 辅助 Dropout 处理在线学习中的非正常输入

    该研究提出了一种名为 Aux-Drop 的深度学习辅助随机失活正则化策略，用于有效处理基于在线学习的无序输入特征，已在多个数据集上进行了广泛的数值实验检验其有效性。

    Mar, 2023

  • 隐式微分辅助学习

    本文提出了一种基于隐式微分的新框架 AuxiLearn，针对多任务学习中设计有用的辅助任务和将辅助任务组合成一个连贯的损失函数的挑战，当已知有用的辅助任务时，可以学习一个网络将所有损失合并成一个连贯的目标函数，并且能够学习任务之间的非线性交互；当不知道有用的辅助任务时，可以学习一个生成有意义的新辅助任务的网络。在图像分割和低数据情况下学习属性等多个任务和领域中，AuxiLearn 均表现出比竞争方法更为出色的性能。

    Jun, 2020

  • 辅助知识对连续学习的影响

    该论文提出了一种新的 Continual Learning 算法，结合多样化和不相关的输入流，以解决当前任务，从而有助于学习下一个任务，并在常见的图像分类基准测试中表现出超过现有最先进模型的表现。

    Jun, 2022

  • AdaNet：人工神经网络的自适应结构学习

    本文提出了新的自适应学习人工神经网络的算法 (AdaNet)，可以同时自适应地学习网络结构和权重。通过大规模实验，证明该算法在二元分类任务中表现出色，并且与传统方法中得到的神经网络相比具有竞争力的性能准确性。

    Jul, 2016

  • 通过辅助网络在连续学习中实现更好的稳定性 - 可塑性平衡

    通过引入辅助网络实现稳定性与可塑性平衡的新方法 ANCL，在任务递增和类递增场景下表现优异，并揭示了稳定性与可塑性之间的基本原则。

    Mar, 2023

  • Aux-NAS: 利用辅助标签的极低额外推理成本

    利用神经架构搜索的方法，我们在主要任务的推理成本不变的前提下，通过利用独立辅助任务的额外辅助标签来提高主要任务的性能。这种方法使用柔性的非对称结构对主任务和辅助任务进行训练和推理，通过演化网络中的主到辅助连接，实现了在主任务推理过程中去除这些连接的单任务推理成本。我们的方法在 NYU v2、CityScapes 和 Taskonomy 数据集上使用 VGG、ResNet 和 ViT 等主干网络进行了广泛实验，验证了其有希望的性能。

    May, 2024

  • 通过自适应损失平衡在神经网络中进行任意时刻的预测学习

    通过从辅助预测中提取 “Anytime” 预测，优化自适应加权和的辅助损失，以平衡损失以相同的比例进行优化的神经网络。实验证明，采用自适应加权的任意神经网络（ANNs）可在较小的网络上比使用静态常数权重的大型网络更快地实现相同的准确性。

    Aug, 2017

  • 利用异构辅助网络特征模仿学习驾驶

    本文利用异构辅助网络特征模仿的新型有效训练方法，通过从更丰富的上下文中学习，提高了预测的准确性和鲁棒性，并在 Udacity 和 Comma.ai 上实现了 12.8% 和 52.1% 的超越，同时在 Berkeley Deep Drive (BDD) 数据集上也取得了鼓舞人心的结果。

    Nov, 2018