May, 2024

混合哈希：用于图像检索的混合卷积和自注意力深度哈希

PDF
TL;DR通过深度神经网络将输入图像映射为简单的二进制哈希码，从而实现有效的大规模图像检索。我们提出了一种名为 HybridHash 的混合卷积和自注意力深度哈希方法，通过引入分阶段架构的骨干网络和块聚合函数来实现局部自注意力效果，并降低计算复杂性，以提高图像块之间的信息交流和视觉表示。实验结果表明，本文提出的方法在三个广泛使用的数据集上具有优越的性能，超过了现有的深度哈希方法。
发现论文，激发创造
  • 基于混合卷积 - 变换器架构搜索的实时图像分割

    通过使用多头自注意力结构，结合架构搜索方法，本研究提出了一种高效且有效的高分辨率图像分割神经网络架构，名为 HyCTAS，通过在多个分辨率的分支之间融合轻量级卷积层和内存高效的自注意力层，提高了语义分割任务的性能。

    Mar, 2024

  • 自注意力和卷积的融合

    本文指出卷积和自注意力之间存在强烈的联系，两个模型的第一阶段都包含了相似的运算，本文提出了 ACmix 模型将它们混合使用从而最小化计算成本，实验结果表明，该模型在图像识别和 Downstream 任务上均取得了显著的改进。

    Nov, 2021

  • 面向大规模精细图像检索的属性感知深度哈希与自一致性

    本研究提出了一种面向大规模细粒度图像检索的属性感知哈希网络，通过生成属性感知哈希码，既能提高检索效率，又能建立哈希码和视觉属性之间的明确对应关系。在无监督的条件下，通过注意力捕获视觉表征并开发一个编码器 - 解码器结构网络的重构任务，从外观特定的视觉表征中提取高层次的属性特定向量，进一步通过特征去相关性约束来增强它们的代表性。通过保持原始实体的相似性，可以从这些属性特定向量生成所需的哈希码，从而成为属性感知的哈希码。在六个细粒度检索数据集和两个通用检索数据集上进行了全面的定量实验证明了我们模型相对于竞争方法的优越性。

    Nov, 2023

  • 深度多视图增强哈希用于图像检索

    本文中提出了一种结合多视角和深度学习的、能够显著提高哈希检索性能的新型多视角哈希模型，该模型在 CIFAR-10、NUS-WIDE 和 MS-COCO 数据集上系统地评估，结果表明本方法明显优于现有的单视角和多视角哈希方法。

    Feb, 2020

  • 利用高分辨率特征优化基于深度哈希的图像检索

    深度哈希技术利用高分辨率特征提取的高分辨率哈希网络（HHNet）在复杂数据集上显示出优于现有方法的性能提升，强调了在复杂图像检索任务中学习高分辨率特征的必要性。

    Mar, 2024

  • 注意力增强卷积网络

    本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。

    Apr, 2019

  • 图像超分辨率变换器中激活更多像素

    为了更好的利用 Transformer 的潜力以进行图片重构，在融合通道注意力和基于窗口的自注意机制的优势的基础上提出了一种新型的 Hybrid Attention Transformer 模型。此外，还引入了重叠交叉注意力模块并采用相同任务的预训练策略，拓展模型的能力。实验证明这个模型在图片超分辨率方面的表现优于现有方法超过 1dB。

    May, 2022

  • 用于大规模图像搜索的同时特征聚合和哈希

    本文提出了一种新颖的框架，其中功能聚合和哈希同时设计并联合优化，目的是生成更具区分度的二进制哈希码从而提高图像的检索精度。同时，我们还提出了一个快速版本的二进制自编码器用于我们的提出的框架中。在多个基准数据集上进行的广泛检索实验表明，所提出的框架显著改善了最先进技术水平。

    Apr, 2017

  • HAT：用于图像恢复的混合注意力变换器

    Transformer-based methods have limitations in utilizing input information, so a Hybrid Attention Transformer (HAT) is proposed to improve restoration tasks by combining channel attention and window-based self-attention schemes.

    Sep, 2023

  • 基于卷积和注意力网络的高光谱图像去噪

    提出了一种混合卷积和注意力网络（HCANet），通过同时建模全局和局部特征，利用卷积神经网络（CNN）和 Transformer 的优势，设计了卷积和注意力融合模块来捕捉长距离依赖和邻域光谱相关性，以及设计了多尺度前向网络来提取不同尺度的特征，从而提高多尺度信息聚合的性能，实验结果表明了 HCANet 模型的合理性和有效性。

    Mar, 2024