ICLRMar, 2024

选择高层特征：来自层次分类网络的高效专家

PDF
TL;DR该研究引入了一种新的专家生成方法，它通过将顺序处理通用低级特征与高级特征的并行和嵌套结合起来的新的分层分类网络拓扑结构，实现了动态降低任务和计算复杂度的能力。该方法在资源受限条件下能够选择只有任务相关类别的高级特征，可以显著减少推理成本，对于轻量级和可适应性的网络设计具有前瞻性意义。在动态推理方面，我们的方法可以排除高达 88.7% 的参数和 73.4% 的 GMAC 操作，与比较基准相比，在所评估的案例中，平均减少了 47.6% 的参数和 5.8% 的 GMAC 操作。
发现论文，激发创造
  • 通过选择性注意力进行推理成本降低的高级特征并行化

    通过使用串行通用的低级特征和并行的高级特征，我们的方法可以选择性地跳过或选择与类别相关的特征，从而减少推理成本。这种方法能有效地减少参数和计算复杂度，适用于移动、工业和机器人应用。

    Aug, 2023

  • 大规模图像分类专家网络

    本文提出了一种基于树状结构的神经网络架构，用于大规模图像分类，并将其成功应用在四种流行卷积神经网络上，最终在 CIFAR100 数据集上达到了迄今为止最好的分类准确度，且在训练时间和参数数量上增加并不多。

    Apr, 2016

  • 高效架构搜索的层次化表示

    本文介绍了一种基于层次遗传表征和复杂拓扑的新颖神经体系结构搜索方法，该方法能够高效地发现优于许多手动设计模型的分类器，同时该方法通过随机搜索得到了更高的准确度并将搜索时间缩短至 1 小时。

    Nov, 2017

  • 大型网络中的分层块结构和高分辨率模型选择

    通过具备多重尺度的完全描述网络层次结构的嵌套概率模型，可避免现有方法的局限性，在更高的分辨率下检测模块化结构并确保不产生伪模块，且具有一般性和可扩展性，适用于大型网络的高效算法

    Oct, 2013

  • 利用大规模无监督学习构建高级特征

    使用卷积神经网络进行非监督学习，提取图像中的高级特征，并取得了针对 20,000 个物体类别的显著优化结果。

    Dec, 2011

  • 层次化的选择性分类

    部署深度神经网络用于风险敏感任务需要一个不确定性估计机制。本文介绍了分层选择分类，将选择分类扩展到分层环境中。我们的方法利用类别关系的固有结构，使模型在面临不确定性时减少其预测的特异性。本文首先形式化了分层风险和覆盖，并介绍了分层风险覆盖曲线。接下来，我们开发了针对分层选择分类的算法（也称为 “推理规则”），并提出了一种能够以高概率保证目标准确性约束的高效算法。最后，我们对一千多个 ImageNet 分类器进行了大量的实证研究，揭示了诸如 CLIP、ImageNet21k 预训练和知识蒸馏等训练制度提升了分层选择性能。

    May, 2024

  • 稀疏分层图分类器的研究

    本文探讨了如何在图形分类中利用图卷积网络（graph convolutional networks）进行节点嵌入（node embeddings）、不可区分形式学习（representation learning）和不可区分形式学习（differentiable graph coarsening），并且没有牺牲稀疏性，为未来基于图形的神经网络研究指出了重要方向。

    Nov, 2018

  • 深度 ReLU 网络中的深度选取对特征提取和泛化的影响

    本文旨在量化特征提取和泛化中深度与特征之间的对应关系，通过展示提取单一特征和复合特征的深度 - 参数权衡表明特征对深度的适应性和相反情况，并证明在深度网络上实现经典的经验风险最小化可实现多种学习任务的最优泛化性能，其理论结果通过一系列数字实验进行了验证。

    Apr, 2020

  • 层次文本分类的高效策略：外部知识和辅助任务

    本文利用类定义的词嵌入作为条件来预测下一层分类，并采用合适的搜索方法，以较少的参数数在两个著名的英语数据集上优于先前的研究。

    May, 2020

  • 从生成模型学习分层特征

    本文证明已有的变分方法无法很好地训练分层潜变量模型，并且提出了一种不依赖先前知识、能够在多个自然图像数据集上学习高度可解释和分解分层特征的替代架构。

    Feb, 2017