CVPRMay, 2021

兼容性敏感的异构视觉搜索

PDF
TL;DR本篇研究针对资源限制下的视觉搜索问题，提出了一种通过生成来自大型模型的画廊嵌入和使用紧凑模型提取查询嵌入的方法来减轻准确性和效率之间难以解决的关系，并通过修改参数和架构来实现嵌入之间的兼容性，从而实现了 80 倍和 23 倍的成本降低，而在 DeepFashion2 和 IJB-C 等挑战性的检索任务中，准确率仅比最佳嵌入模型低不到 0.3% 和 1.6%。
visual searchresource constraintsembedding modelscompatibilityneural architecture search
发现论文，激发创造
  • 跨模型兼容性的统一表示学习

    本研究提出一种统一的表示学习框架，解决了在视觉搜索应用中交叉模型兼容性（CMC）问题，通过引入轻量级的 RBT 模块和新的训练方案来优化嵌入空间，该方案在各种具有挑战性的视觉搜索情景下，包括面部识别和个人重新识别，均优于先前的方法。

    Aug, 2020

  • 神经结构的对比嵌入

    通过对比学习，自动产生与搜索空间参数化独立的神经架构嵌入，使传统黑盒优化算法在神经架构搜索中达到最先进的性能，同时实现了搜索空间间的迁移学习，并探索了在不同训练阶段使用嵌入的潜力。

    Feb, 2021

  • 可切换表示学习框架及自兼容性

    本研究提出了一种具有自兼容性的 Switchable 表征学习框架，并使用不确定性估计动态调整子模型的优先级，最终在评估数据集上获得了最先进的性能。

    Jun, 2022

  • 朝向向后兼容的表示学习

    提出了一种名为 “backward-compatible training (BCT)” 的框架来训练嵌入模型，它可使不同维度和架构、通过不同损失函数学习的视觉特征具有兼容性，从而实现新计算机制与旧计算机制之间的互换，使视觉搜索系统能够跳过计算所有以前看到的图像的新功能。

    Mar, 2020

  • 学习兼容嵌入

    本文介绍了一种名为学习兼容嵌入（LCE）的框架，通过直接或通过转换将模型之间的类中心对齐，并限制新模型更紧凑的内部类分布来实现交叉模型兼容性和向前 / 向后兼容性训练。在实验中，LCE 有效地实现了模型兼容性，并取得了较高的准确性。

    Aug, 2021

  • 可解释的非度量盒嵌入预测图像之间的视觉重叠

    本文介绍了一种可解释的图像嵌入方法，通过对已知具有 3D 可视表面重叠的训练示例进行测量，从而学习场景特定的相似度，并通过简单且快速的方式减少了在不同比例下的查询图像匹配和几何验证中的搜索成本。

    Aug, 2020

  • 增强嵌入用于定制检索

    信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小 K 值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

    Oct, 2023

  • HQNAS: 联合量化和架构搜索的自动 CNN 部署框架

    提出一种硬件感知量化神经架构搜索 (HQNAS) 框架，将神经结构搜索和量化方法结合，通过权值共享和比特共享以高效优雅的方式完成。在 CIFAR10 中只需要 4 小时 GPU 时间，能发现出卓越的 NN 策略。同时，我们的方法支持在线学习和持续适应环境。

    Oct, 2022

  • 硬件感知神经架构搜索的综合调查

    该论文综述了当前关于硬件感知神经架构搜索的研究，包括搜索空间，搜索策略，加速技术和硬件成本估计策略。研究者采用多目标优化算法来解决神经架构复杂，导致在 IoT，移动和嵌入式系统等资源受限的平台上部署困难的问题，并讨论了相关算法及策略的挑战和局限性，同时为未来的研究提供参考，这是首篇针对硬件感知神经架构搜索的论文综述。

    Jan, 2021

  • 基于共识感知的视觉 - 语义嵌入用于图像 - 文本匹配

    本文提出一种共识感知的视觉 - 语义嵌入模型（CVSE），以将共识信息，即图像文字的基础知识，融入到图像 - 文本匹配中，并通过构建概念相关性图来实现共识信息的利用，以及通过实例级表示为两种模态学习图像和文本之间的关联和对准。实验表明，相较于先进的方法，利用共识信息对构建更有意义的视觉 - 语义嵌入具有优越的性能，特别是在双向图像和文本检索任务上。

    Jul, 2020