SHELS：无需类别界限的新颖性检测和连续学习专有特征集

Jun, 2022

SHELS：无需类别界限的新颖性检测和连续学习专有特征集

SHELS: Exclusive Feature Sets for Novelty Detection and Continual Learning Without Class Boundaries

Meghna Gummadi, David Kent, Jorge A. Mendez, Eric Eaton

TL;DR本文介绍了一个基于 Sparse High-level-Exclusive, Low-level-Shared 特征表示方法 (简称 SHELS) 的深度神经网络模型，该模型利用高层特征的独特性来自动检测 OOD 数据，并通过稀疏低层特征的有效使用来适应新的知识，从而实现了无已知类别边界下的类别增量连续学习和开放世界的学习。实验表明，SHELS 模型在多个基准数据集上实现了显著的新颖性检测效果的提升。

Abstract

While deep neural networks (DNNs) have achieved impressive classification performance in closed-world learning scenarios, they typically fail to generalize to unseen categories in dynamic open-world environments, in which the number of concepts is unbounded. In contrast, human and anim

deep neural networks open-world learning novelty detection ood data class-incremental learning

发现论文，激发创造

自适应尺度神经密集特征：通过层级上下文聚合学习

本研究提出了 SAND 特征，一种专门针对特征提取的深度学习解决方案，能够提供分层上下文信息。该方法在视觉问题的许多方面具有广泛应用，并在不需要额外训练的情况下实现了更好或可比较的结果。

Mar, 2019

通过自异构整合与知识挖掘实现长尾视觉识别

这篇文章提出了一种基于深度神经网络的 MoE 模型 ——Self-Heterogeneous Integration with Knowledge Excavation（SHIKE）来解决长尾分布的问题，模型采用 Depth-wise Knowledge Fusion（DKF）融合不同浅层和深层次的特征，以达到更好的分类效果。

Apr, 2023

阈值式新颖检测的持续改进

在动态、开放的情境中评估时，神经网络在检测未知类别时遇到困难。本文提出了一种新方法，通过线性搜索和基于样本交叉验证选择门槛值，自动适应性地检测新颖性，从而提高 MNIST、Fashion MNIST 和 CIFAR-10 的总准确率。

Sep, 2023

选择高层特征：来自层次分类网络的高效专家

该研究引入了一种新的专家生成方法，它通过将顺序处理通用低级特征与高级特征的并行和嵌套结合起来的新的分层分类网络拓扑结构，实现了动态降低任务和计算复杂度的能力。该方法在资源受限条件下能够选择只有任务相关类别的高级特征，可以显著减少推理成本，对于轻量级和可适应性的网络设计具有前瞻性意义。在动态推理方面，我们的方法可以排除高达 88.7% 的参数和 73.4% 的 GMAC 操作，与比较基准相比，在所评估的案例中，平均减少了 47.6% 的参数和 5.8% 的 GMAC 操作。

Mar, 2024

低资源情境下有效学习的一种新方法

提出了一种称为 s2sL 的新框架，采用同时考虑两个样本的方式来有效地学习类别判别特性，展示了其在语音 / 音乐识别、情感分类、低资源场景和数据不平衡方面的有效性。

Dec, 2017

使用空类别检测新颖性

该研究通过异常检测机制识别未知数据，并在其中学习新类别，通过增加空类来扩充深度神经网络模型的语义空间，实现无监督学习。在图像分类和语义分割任务中进行的实验验证了该方法的有效性。

Apr, 2023

用于物体分类的 ScatterNet 混合深度学习（SHDL）网络

提出 ScatterNet 混合深度学习网络（SHDL），用于提取不变和区分性图像表示进行物体识别，其每一层自动设计为最优的深层学习体系结构，具有改进的计算性能，并在两个图像数据集上表现出了超越无监督和半监督学习（GANs）的最新分类性能。在训练数据集规模缩减的情况下，SHDL 网络相对于现有的具有监督的方法（NIN,VGG）也具有优势。

Aug, 2017

利用高斯混合生成式对抗网络进行非完备学习

本文研究了如何使用基于高斯混合生成对抗网络的新颖在线非穷尽学习模型来检测测试数据中出现的新兴类别实例，实验表明 NE-GM-GAN 方法比目前现有的方法可以更好地检测流数据中的新类别实例。

Jun, 2021

基于神经坍缩的特征分离追求外域检测

本文通过神经坍缩（Neural Collapse）的特性来界定问题，并提出了一种称为 OrthLoss 的简单而有效的损失函数，将 OOD 数据的特征束缚在与 ID 特征的主要子空间正交的一个子空间中，从而通过不同的维度分离 ID 和 OOD 样本的特征。通过优化特征分离损失，而不是仅仅扩大输出差异，我们的检测在 CIFAR 基准上达到了 SOTA 性能，无需任何额外的数据增强或采样，证明了 OOD 检测中特征分离的重要性。

May, 2024

DeeSIL: 深层 - 浅层增量学习

介绍了一种名为 DeeSIL 的增量学习算法，它采用深度表示的特征提取器和独立的浅层分类器来增加识别容量，可以应对有限内存和新类别增加的挑战，并在 ImageNet LSVRC 2012 数据集上取得了比现有算法更好的性能。

Aug, 2018