Feb, 2024

基于 kNN 和基础模型的可适应且注重隐私的图像分类

PDF
TL;DR存储底层训练数据的嵌入表示的方法，结合了 $k$- 最近邻分类器和基于视觉的基础模型，在数据隐私保护方面具有动态修改和良好的解释性和适应性，通过实验证明在基准数据集和医学图像分类任务中有更好的分类性能，同时在持续学习和数据删除场景中展现出良好的鲁棒性。
发现论文，激发创造
  • 深度 k 近邻：朝着自信、可解释和鲁棒的深度学习发展

    本研究针对深度学习在对抗性环境下的鲁棒性和预测不可解释性等问题，通过将 k-NN 算法与深度学习结合，提出了一种名为 DkNN 的混合分类器，它可以为输入数据提供信心估计和人类可解释的预测解释。实验证明，DkNN 算法可以准确识别模型外部的输入，同时提供直观和有用的模型失败解释。

    Mar, 2018

  • 基于 kNN 的高容量存储图像分类系统的再探讨

    本文通过使用外部高容量存储器存储图像特征映射、标签和原始图像的知识，而不是显式存储在模型参数中，来避免增量学习中的灾难性遗忘，并引入 k - 最近邻分类器对其进行分析，实现了在不微调模型参数的前提下，ImageNet 数据集上的 79.8％的 top-1 准确度，以及 Split CIFAR-100 数据集中 90.8％的增量学习准确度。

    Apr, 2022

  • 本地可解释的机器学习和人工智能：初步结果和未来方向

    该论文介绍了如何结合 k 最近邻算法与信息论来解决机器学习模型复杂度与可解释性之间的矛盾，以实现全面审计的机器学习和人工智能技术

    Jan, 2019

  • KNN-BERT：使用 KNN 分类器微调预训练模型

    本文介绍了利用监督动量对比学习框架和 KNN 分类器结合 fine-tuning 的方法，以学习聚类表示来提高预训练模型的 Robustness 和 Stability，测试结果表明此方法可显著提高文本分类任务中的准确度和对抗性鲁棒性。

    Oct, 2021

  • 使用数据核心比较基础模型

    本文提出了一种不需要度量的基于嵌入空间几何的方法来比较基础模型，并展示了该框架如何用于诱导一组带有距离函数的模型流型，其与多个下游度量强相关。

    May, 2023

  • 基础模型将聚类作为主动学习的更好初始化

    本研究提出了将基础模型与聚类方法相结合，用于选择主动学习初始化样本，实验证明这种方法可以有效地定位信息丰富的初始样本，从而提高模型性能。

    Feb, 2024

  • 使用影响力函数和最近邻居检测对抗样本

    本文提出了一种针对深度神经网络的对抗攻击的检测方法，使用影响函数来测量每个训练样本对于验证集数据的影响力，并通过在激活层上拟合 k-NN 模型来寻找最有支持性的训练样本，最后使用 k-NN 排名和距离训练一个对抗检测器成功地区分了六种攻击方法和三个数据集的对抗样本，取得了最先进的结果。

    Sep, 2019

  • KNN-Diffusion: 基于大规模检索的图像生成

    通过使用大规模检索方法（尤其是高效的 k - 最近邻），我们提出了一种小型高效的文本到图像扩散模型，该模型不需要文本，并且可以在保持对象身份的同时执行基于文本驱动的局部语义操作。我们的方法在多个数据集上实现了最先进的结果，并且与使用仅图像而没有配对文本数据进行文本到图像生成模型训练的现有方法相比，在人类研究和自动指标方面都取得了最先进的结果。

    Apr, 2022

  • 带检索的分类方法及其解耦表示

    本文提出了一种混合粒度的中文 BERT 模型（MigBERT），通过同时考虑字符和词，设计了学习字符和单词级表示的目标函数，在各种中文 NLP 任务上获得了新的 SOTA 性能，实验结果表明，单词语义比字符更丰富，而 MigBERT 也适用于日语。

    Mar, 2023

  • 最近邻语言模型的自适应方法

    本论文探讨了如何利用适配器和重排序模块等方法改进半参数最近邻语言模型（$k$NN-LMs）在新领域的适用性，实验证明结合多种方法后平均可以提高 17.1％的困惑度。

    Nov, 2022