Feb, 2022

基于检索的长尾视觉识别分类

PDF
TL;DR提出了 Retrieval Augmented Classification (RAC) 方法，并应用于解决长尾分类问题，通过显式引入检索模块，使用非参数化外部内存信息显著提高了 Places365-LT 和 iNaturalist-2018 数据集的性能，尤其是在尾部类别上，为计算机视觉体系结构中更有效地利用外部存储器提供了替代方案。
retrieval augmented classificationimage classificationlong-tail classificationexternal memorycomputer vision
发现论文，激发创造
  • 检索增强多标签文本分类

    本文提出了一种检索增强的方法来解决具有 Zipfian 分布标签支持的大标签集情 况下的多标签文本分类问题，并通过交叉关注和检索来改善分类模型的样本效率，实验证明这种方法在标签分布偏斜、低资源训练和长文档数据情境下显著提高了模型性能。

    May, 2023

  • RAHNet：检索增强的混合网络用于长尾图分类

    在图分类任务中，我们提出了一种名为 Retrieval Augmented Hybrid Network (RAHNet) 的新框架，通过联合学习强鲁棒性特征提取器和无偏分类器，解决了长尾类别分布的问题，并通过图检索模块和类别中心的有监督对比损失等策略来改善图分类算法的性能。

    Aug, 2023

  • 基于潜在类别识别的长尾图像分类 LCReg

    通过深度学习技术，本研究提出了一种新的长尾图像识别方法，通过学习共享的隐含特征来改进特征表征，并在这些特征上进行语义数据增强，以提高训练样本的多样性，显著改善了基线模型。

    Sep, 2023

  • 检索增强的元学习用于低资源文本分类

    基于检索增强元学习 (RAML) 的元学习方法，通过从外部语料库中检索非参数性知识以进行推理，以解决元学习场景中缺乏多样化训练数据导致的泛化性能差的问题，并在低资源文本分类任务中显著优于当前最优模型。

    Sep, 2023

  • RAFIC：检索辅助的少样本图像分类

    通过使用图像检索技术和元学习方法，RAFIC 方法在少样本图像分类任务中显著提高了分类准确性。

    Dec, 2023

  • RAR: 检索与排序增强型 MLLM 用于视觉识别

    CLIP 和 Multimodal Large Language Models（MLLMs）在识别广泛的候选人方面具有优势，RAR 结合了两种方法的优点，并通过建立多模式检索器和对 MLLMs 进行排名来提高对广泛和细粒度词汇的几次 / 零次识别能力，该方法在细粒度视觉识别、几次拍摄图像识别和零次识别设置下的物体检测等任务中显著提升了准确性。

    Mar, 2024

  • RAVEN：多任务检索增强视觉 - 语言学习

    该论文介绍了 RAVEN，一个多任务的检索增强视觉语言模型框架，通过有效的任务特定微调，无需额外的检索特定参数，该模型获得了在多个任务中都有效的检索能力，对图像字幕和 VQA 任务的广泛实验结果表明，与非检索基准线相比，在 MSCOCO 上提高了 + 1 CIDEr，在 NoCaps 上提高了 + 4 CIDEr，在特定的 VQA 问题类型上提高了近 3％的准确率，这表明了将 RAG 方法应用于视觉语言模型的有效性，标志着朝着更高效和可访问的多模态学习迈进。

    Jun, 2024

  • 基于检索增强的开放词汇物体检测

    使用提取与负词汇的语义相似度和从大型语言模型中取得的概念进行视觉特征增益，通过 Retrieval-Augmented Losses and visual Features (RALF) 方法，成功改进了基于 Vision-Language Models (VLMs) 的开放性词汇目标检测技术，取得了在 COCO 和 LVIS 基准数据集上的显著改进。

    Apr, 2024

  • 面向图像标注的检索增强架构

    通过利用外部的 kNN 内存来改善生成过程，本研究提出了两个模型变体，这些模型变体结合了基于视觉相似性的知识检索器组件、可微分编码器以及基于上下文线索和从外部存储器中检索的文本来预测标记的 kNN 增强语言模型。在 COCO 和 nocaps 数据集上的实验证实了我们的方法，证明了显式外部存储器的纳入可以显著提高标题的质量，尤其是在更大的检索语料库中。此研究为改善大规模的图像字幕生成打开了新的研究方向。

    May, 2024

  • 检索增强通识推理：一种统一方法

    本文提出了一种统一的基于检索增强的通识推理框架（RACo），包括一个新构建的包含 2000 万个文档的通识语料库和训练通识检索器的新策略。对四个不同的通识推理任务进行的广泛评估结果表明，我们提出的 RACo 可以显著优于其他知识增强方法的竞争者，在 CommonGen 和 CREAK 排行榜上取得了新的 SoTA 性能。

    Oct, 2022