ICCVAug, 2023

NAPA-VQ: 基于向量量化的邻域感知原型增强用于持续学习

PDF
TL;DR非样本类增量学习方法在解决前向和后向遗忘问题上取得了重要进展，本研究提出了一种新的框架 NAPA-VQ，通过学习特征空间中的拓扑关系和生成具有代表性的旧类原型来解决类重叠和决策边界判别性的问题，实验证明 NAPA-VQ 在准确性和遗忘性能方面优于现有的 NECIL 方法。
catastrophic forgettingdeep neural networksnon-exemplar based class incremental learning (necil)napa-vqprototype augmentation
发现论文，激发创造
  • 零语音 2020 挑战中基于向量量化的神经网络用于语音单元发现

    本文提出两种神经模型，均使用向量量化技术将连续特征映射为有限的编码，旨在利用无标签数据学习将语音的音素内容与说话人特定细节分离的离散表述。在 Zero Speech 2020 挑战赛的英语和印度尼西亚语数据上，我们的两个模型都优于 2019 年和 2020 年挑战赛的所有提交，相对提高超过 30%。

    May, 2020

  • 多类别无监督异常检测的分层向量量化变压器

    在多类别图像异常检测中，该研究提出了一种基于向量量化和原型导向的 Transformer 层次化模型，通过离散的、具有代表性的原型来恢复正常图像，并采用原型导向的最优传输方法进行异常评估，实现了优于现有模型的性能。

    Oct, 2023

  • 向量量化自回归预测编码

    本文提出了一种新颖的 VQ-APC 模型，通过探究逐渐受限的模型序列，明确了学习表示的成分，同时发现存在将音素和说话者信息最大化以优化自监督目标的点。

    May, 2020

  • VQUNet：量化向量 U-Net 对抗异常攻击的正则化抑制非理想噪声

    引入一种新颖的噪声减小过程 Vector Quantization U-Net（VQUNet），以提供更好的鲁棒性和超越其他最先进的基于噪声减小的防御方法，对抗各种敌对攻击。

    Jun, 2024

  • 向量量化自编码器的理论与实验

    该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

    May, 2018

  • 通过可扩展的邻域分量分析改善泛化能力

    采用深度神经网络来学习视觉特征，通过非参数优化方法而非参数 etric 分类器进行可视化识别，并在针对少数代表性例子的分类和子类别发现方面提供了更具有普遍适用性的特征表示。

    Aug, 2018

  • NOVA: 基于片上网络的向量单元，用于在 CNN 加速器上映射注意力层

    本研究介绍了 NOVA，一种基于 NoC 的向量单元，可以在加速器的 NoC 中执行非线性操作，并能覆盖现有的神经加速器，以在边缘计算中映射注意力层。我们的结果表明，当运行现有的基于注意力的神经网络时，NOVA 体系结构比最先进的硬件逼近器高效节能，可提高功率效率高达 37.8 倍。

    May, 2024

  • VQ-GNN：一种使用矢量量化扩大图神经网络的通用框架

    文章提出了一种新的基于向量量化技术的通用框架 VQ-GNN，为了解决图神经网络中的邻居爆炸问题和扩展性问题，该方法可以有效地保留所有传递给 mini-batch 的节点的信息，同时使用小量的量化参考向量和低秩图卷积矩阵进行图嵌入，同时该框架还设计了一种新的基于近似算法的信息传递算法和反向传播规则来优化模型性能，在节点分类和链接预测基准测试中表现出了可伸缩性和竞争力。

    Oct, 2021

  • 通过负样本短语增强实现开放词汇对象检索和定位的判别式学习

    本篇研究旨在解决目标检测模型只能处理预定义类的问题，并提出利用文本查询进行目标检索和定位的方法 (Query-Adaptive R-CNN), 通过负向短语扩充 (NPA) 技术训练分类器以检索和定位视觉样本库中的对象，实验表明该方法能在 0.5 秒内从 100 万张图像中准确完成检索定位。

    Nov, 2017

  • 基于 VQ-VAE-2 和有限数据训练 PixelCNN 的分阶段数据增强

    通过阶段性数据增强的方式，提出了一种对于有限数据进行有效训练 PixelCNNs 模型的方法，并在数量和质量上优于传统的大数据训练模型。

    May, 2023