ECCVApr, 2022

基于 kNN 的高容量存储图像分类系统的再探讨

PDF
TL;DR本文通过使用外部高容量存储器存储图像特征映射、标签和原始图像的知识，而不是显式存储在模型参数中，来避免增量学习中的灾难性遗忘，并引入 k - 最近邻分类器对其进行分析，实现了在不微调模型参数的前提下，ImageNet 数据集上的 79.8％的 top-1 准确度，以及 Split CIFAR-100 数据集中 90.8％的增量学习准确度。
deep neural networksimage classificationexternal storageincremental learningk-nearest neighbor
发现论文，激发创造
  • 检索增强转换器用于图像字幕生成

    本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

    Jul, 2022

  • 基于知识注入的图像分类网络增强方法

    基于人类知识的深度神经网络训练方法通过使用人类认知模型构建深度神经网络训练模型，采用现有人类知识信息构建了多级分层深度学习算法，并有效解释了神经网络的隐藏信息。

    Jan, 2024

  • 面向图像标注的检索增强架构

    通过利用外部的 kNN 内存来改善生成过程，本研究提出了两个模型变体，这些模型变体结合了基于视觉相似性的知识检索器组件、可微分编码器以及基于上下文线索和从外部存储器中检索的文本来预测标记的 kNN 增强语言模型。在 COCO 和 nocaps 数据集上的实验证实了我们的方法，证明了显式外部存储器的纳入可以显著提高标题的质量，尤其是在更大的检索语料库中。此研究为改善大规模的图像字幕生成打开了新的研究方向。

    May, 2024

  • 阿里巴巴亿级分类训练系统

    本研究探讨如何解决深度学习中因分类数目巨大而导致的内存、计算资源消耗问题，提出一种大规模训练系统，通过使用混合并行训练框架、KNN softmax、梯度稀疏化等新方法，大幅提高了训练速度与效率，并在实验中取得了高准确率。

    Feb, 2021

  • 图像识别的简单缓存模型

    使用简单的键值缓存记忆提出了一种不需要重新训练或微调的方法来提高预训练模型的分类性能，并可以增强对抗攻击的鲁棒性。通过将靠近输出的层提取的特征作为键来形成键值，可以在大型图像识别模型中获得显著的性能提升。

    May, 2018

  • 基于 kNN 和基础模型的可适应且注重隐私的图像分类

    存储底层训练数据的嵌入表示的方法，结合了 $k$- 最近邻分类器和基于视觉的基础模型，在数据隐私保护方面具有动态修改和良好的解释性和适应性，通过实验证明在基准数据集和医学图像分类任务中有更好的分类性能，同时在持续学习和数据删除场景中展现出良好的鲁棒性。

    Feb, 2024

  • 记忆 Transformer

    本文介绍了一种使用内部储存器实现直接读取并记忆新数据的语言模型，在多个基准测试和任务中展示了近似 kNN 查找技术，着重测试了代码和数学等领域，并证明了随着储存器大小的增加，性能将稳步提高。

    Mar, 2022

  • 利用知识图谱进行图像分类

    本文介绍了一种使用结构化先验知识的方法，包括知识图谱和图搜索神经网络，以在图像分类流程中有效地融入大型知识图谱，并在多标签分类方面优于标准神经网络基线。

    Dec, 2016

  • 大规模增量学习

    本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

    May, 2019

  • 使用基于 KNN 的复合记忆增强对话的 Transformer

    本研究旨在利用机器学习方法，通过增加 KNN-Based Information Fetching (KIF) 模块，将外部知识进行存储，并将其应用在 Dialog Modeling 中，以此提高自动和人类评估的模型性能。

    Apr, 2020