Jul, 2018

寻找 Waldo：零样本不变和高效的视觉搜索

PDF
TL;DR通过生物学启发的计算模型，人类能够高效且不变地在复杂场景中寻找自然物体，为了了解视觉搜索的机制，这项研究提出了一种计算模型，能够在搜索时集成自下而上和自上而下信号，以定位目标，同时保证能够推广到寻找新的目标物体。
visual searchtarget objectcluttered scenebiologically inspired computational modelnatural objects
发现论文，激发创造
  • 零样本目标身份推断在视觉搜索中的应用

    本文提出了 InferNet 模型来通过观察人眼的运动轨迹进行目标推断，并且证明了该模型在实验中表现优秀，甚至在没有物体特异性训练的情况下也能完成任务。

    Jul, 2018

  • 利用空间不变性进行可扩展的无监督物体跟踪

    提出了一种能够应对大场景和多物体的无监督对象跟踪体系结构，包括空间不变运算（卷积和空间注意）和本地对象表示方案，在多个实验中展现了在有多个物体的混乱场景中跟踪对象比其他方法更好，并且能够很好地推广到训练时未遇到的更大，物体更多的视频中。

    Nov, 2019

  • 无约束前景目标搜索

    本文提出了一种解决图像编辑中寻找前景对象的技术 —— 无约束前景物体搜索，并介绍了一种支持通过将背景图像与前景对象进行编码来进行高效搜索的解决方案。通过创建具有不同语义类别的多个前景对象的大型训练数据集，我们的无约束前景物体搜索解决方案优于相关基线，这在两个不同的数据集上进行了定量和人类感知实验的证实。

    Aug, 2019

  • 通过特征缩小和虚构的方式实现低样本视觉识别

    本文提出了一个复杂图像的低 - shot 学习基准模型，并以此为基础，提出一种注重表示规范化技术和为数据稀少的类别提供虚拟训练数据的技术，客观比较了不同方法在低 - shot 学习中的表现，并成功将 ImageNet 数据集中基于 novel classes 的 one-shot 准确率提高了 2.3 倍。

    Jun, 2016

  • ZeroSearch: 使用零样本学习从文本中进行本地图像搜索

    本文提出了一种利用零 - shot 学习技术来进行图像检索的解决方案，使用预训练模型从图像中提取特征，并利用 OWL 检查边界框的出现，通过余弦相似分数对图像进行排序。该算法的性能和灵活性使其适用于各种应用，包括个人图像组织和搜索引擎。

    May, 2023

  • 无目标人类注意力

    本文提出了一种基于 FFMs 的数据驱动计算模型，用于解决人类搜索终止问题以及预测在图像中搜索不存在目标时人们的扫描路径，通过将 FFMs 集成为状态表示在逆强化学习中将其作为方法，实验结果在 COCO-Search18 数据集上提高了目标缺失搜索行为的预测水平。

    Jul, 2022

  • 零样本物体导向视觉导航

    本文研究了零样本对象目标视觉导航任务，并提出了一种基于语义相似性网络的新型框架，用于在未训练过的类中引导机器人查找目标，通过在 AI2-THOR 平台上进行了广泛的实验，证明了我们模型的一般化能力强于基线模型。

    Jun, 2022

  • 基于目标和上下文感知 Transformer 的高效零样本视觉检索

    该研究提出了一种零样本深度学习架构 TCT（Target and Context-aware Transformer），结合目标和上下文信息进行图像搜索，表现出类人的搜索效率，在具有挑战性的视觉搜索任务中超越最先进的模型，并在具有不协调上下文的不变视觉搜索下展现出灵活的搜索方式。

    Nov, 2022

  • 利用深度学习在中央凹区图像中学习搜索和检测物体

    研究了利用仿生学注意机制的物体识别方法，通过采用集成注意力、分类和定位的双重任务模型，利用人类注意力系统分辨图像中的感兴趣区域。

    Apr, 2023

  • 使用逆向强化学习预测目标导向的人类注意力

    本文提出了第一个反向强化学习模型 (IRL) 模型，使用动态的上下文信念地图来学习人类视觉搜索中的内部奖励函数和策略，并且为了训练和评估我们的 IRL 模型，我们创建了 COCO-Search18 数据集，通过提取学习出的奖励地图，可以了解到目标依赖型背景的学习。

    May, 2020