MABNet: 基于混合学习的图像检索助手网络

Mar, 2023

MABNet: 基于混合学习的图像检索助手网络

MABNet: Master Assistant Buddy Network with Hybrid Learning for Image Retrieval

Rohit Agarwal, Gyanendra Das, Saksham Aggarwal, Alexander Horsch, Dilip K. Prasad

TL;DR本研究提出了一种新型的用于图像检索的 Master Assistant Buddy Network（MABNet）模型，结合了监督和自监督学习，由主网络和辅助网络组成，主网络通过提供自己的知识库作为自监督的参考引导辅助网络，辅助网络又通过权重转移向主网络反馈自己的知识，本文还对 MABNet 在公共数据集上进行了广泛的实验研究。

Abstract

image retrieval has garnered growing interest in recent times. The current approaches are either supervised or self-supervised. These methods do not exploit the benefits of hybrid learning using both supervision

image retrieval supervised learning self-supervised learning hybrid learning master assistant buddy network (mabnet)

发现论文，激发创造

基于网络数据的自监督学习在多模态检索中的应用

通过利用 Web 和 Social Media 数据，本文提出一种利用多模态图像和文本嵌入的自监督学习方法，在不需要人工注释的情况下学习强大的特征，并将文本领域学到的语义知识转移至视觉模型用于语义图像检索任务。研究分析了五种不同的文本嵌入方法，表明利用 Web 和 Social Media 数据学习的嵌入具有与监督方法相当的性能，且在训练目标数据时优于最先进方法。最后，介绍了 InstaCities1M 数据集，并演示了如何利用该数据集进行语义多模态图像检索。

Jan, 2019

从全网图片 - 文本数据中检索来提高图像识别

研究使用检索增强模型来提高计算机视觉任务的识别能力，引入了一种基于注意力机制的记忆模块，学习从外部记忆集合中检索出的每个例子的重要性，证明了使用 10 亿个图像 - 文本对的大规模记忆数据集的好处，并在 ImageNet-LT，Places-LT 和 Webvision 数据集中取得了最先进的准确性。

Apr, 2023

多自监督辅助任务的基于图的神经网络模型

该论文提出了三个新的自监督辅助任务，以多任务的方式训练基于图的神经网络模型，使用图卷积网络作为构建块，在标准半监督图分类任务上实现了有竞争力的结果。

Nov, 2020

检索增强转换器用于图像字幕生成

本论文中，我们研究了一种基于 kNN 记忆的图像字幕生成方法，其中可以从外部语料库中检索知识来辅助生成过程。通过在视觉相似性、差分编码器和 kNN 增强的注意力层之间结合知识检索器来预测基于上下文和从外部内存检索的文本的令牌。在 COCO 数据集上进行的实验结果表明，采用显式的外部存储器可以帮助生成过程并提高字幕质量。我们的工作为更大规模的图像字幕生成模型的改进开辟了新的途径。

Jul, 2022

面向图像标注的检索增强架构

通过利用外部的 kNN 内存来改善生成过程，本研究提出了两个模型变体，这些模型变体结合了基于视觉相似性的知识检索器组件、可微分编码器以及基于上下文线索和从外部存储器中检索的文本来预测标记的 kNN 增强语言模型。在 COCO 和 nocaps 数据集上的实验证实了我们的方法，证明了显式外部存储器的纳入可以显著提高标题的质量，尤其是在更大的检索语料库中。此研究为改善大规模的图像字幕生成打开了新的研究方向。

May, 2024

基于知识的自监督预训练学习框架，提升生物医学显微镜图像识别

本研究提出了一个基于知识的学习框架（TOWER），通过协同对比学习和生成学习方法的三个阶段，实现对生物医学显微图像的加强识别，该方法在大规模和复杂的生物医学显微图像无监督训练中优于 SimCLR 和 BYOL 方法，同时可用于多模态医学图像分析和半监督学习中。

Nov, 2022

启发式视觉预训练的自监督和有监督多任务学习

提出了一个结合自监督学习和监督学习的多任务预训练框架，用于识别多种视觉任务，结果表明该模型能够达到或超过多个视觉任务的最先进结果的能力。

Oct, 2023

自主学习神经网络结构

本研究旨在解决大规模多标签视觉识别问题，通过在已训练的神经网络分类器中增加辅助容量的方法，以极小的影响计算规模的前提下，显著提高模型的性能，并采用网络自身的预测作为评估视觉相似性的描述符，将标签空间划分为视觉上相似的实体组，通过增加辅助隐藏层通路，仅连接到这些标签单元组，从而在大规模对象识别任务中报告了显著的平均精度改善，同时将乘加操作数的数量增加了不到 3%。

Dec, 2014

基于搜索引擎图像检索的多模态神经机器翻译

本文提出使用图像搜索引擎和文本感知的注意力视觉编码器来收集并过滤具有描述性的图像，以加强神经机器翻译的性能。在多个数据集上进行的实验证明，该方法较强的基线实现了显著的性能提升。

Jul, 2022

MagicLens：自我监督图像检索与开放式指令

利用文本指令和多模态模型实现自我监督图像检索，能够检索到具有丰富关系的图像，超过了先前最先进的方法，并且模型体积更小，同时支持多样的搜索意图。

Mar, 2024