Jul, 2024

离散群聚表示引导物体为中心的学习

PDF
TL;DR类似于人类将视觉场景视为对象，基于目标的学习（OCL）可以将密集图像或视频抽象成稀疏的对象级特征。我们提出了 “Grouped Discrete Representation”（GDR）方法，通过将特征分组为属性并使用元组编号对其进行索引，解决了将特征视为最小单位而忽视特征组成的属性的问题，并且在不同的查询初始化、数据集形式和模型架构的广泛实验中一致提高了收敛性和泛化能力。可视化结果显示我们的方法有效捕捉了特征中的属性级别信息。
object-centric learningtransformer-based oclgrouped discrete representationmodel generalizationattribute-level information
发现论文，激发创造
  • 通过反向层级引导学习物体中心表示

    提出了一种引入自顶向下路径的反层次指导网络（Reverse Hierarchy Guided Network），该网络在训练和推理过程中采用不同的方式，通过自顶向下的特征引导底层特征，同时将底层特征纳入感知过程，从而实现了性能优于其他模型的结果，并且在发现小物体和复杂场景中有良好的泛化能力。

    May, 2024

  • 目标中心学习中的明确解耦表示

    从原始视觉数据中提取结构化表示是机器学习中一个重要且长期存在的挑战。最近，无监督学习目标为客观中心化表示的技术引起了越来越多的关注。本文提出了一种新颖的架构，通过在潜在空间维度的两个不重叠的子集中偏置客观中心化模型，以将形状和纹理成分分离开。在一系列客观中心化基准测试中的实验证明了我们的方法实现了所需的分离性，并在大多数情况下在数值上提高了基准性能。此外，我们还展示了我们的方法可以为特定对象生成新颖的纹理或在具有不同形状的对象之间传递纹理。

    Jan, 2024

  • 通过 Transformer 在面向对象模型中学习视觉动态预测的解缩放表示

    最近的研究表明，基于对象的表示可以极大地提高学习动力学的准确性，同时带来可解释性。本研究进一步探讨了这一想法，探讨了在基于对象模型中学习解缠表示是否可以进一步提高视觉动力学预测的准确性。我们的体系结构的关键部分是 “块” 的概念，多个块组成一个对象，每个块都是一组可学习的概念向量的线性组合，在学习过程中逐步完善。我们的模型中的块是以无监督的方式发现的，通过关注对象掩码，并以类似于 “槽” 发现的方式进行密集基于对象的表示学习。通过 Transformer 和自注意力机制，我们对 discovered blocks 进行自我 - 注意力操作以预测下一个状态，从而发现视觉动力学。我们在几个基准 2D 和 3D 数据集上进行了一系列实验，证明了我们的体系结构：(1) 可以发现有语义意义的块；(2) 相对于 SOTA 的基于对象模型，帮助提高动力学预测的准确性；(3) 在未见过训练阶段的特定属性组合的 OOD 设置中表现明显更好。我们的实验证明了对视觉动力学预测的解缠表示的发现的重要性。

    Jul, 2024

  • 聚合特征的面向对象的开放词汇图像检索

    本研究提出了一种简单而有效的方法来实现以对象为中心的开放词汇图像检索，通过从 CLIP 中提取出的密集嵌入将大规模图像检索管道的可扩展性与密集检测方法的对象识别能力相结合，从而实现了极大的提升。

    Sep, 2023

  • 学习细粒度视觉描述的深度表示

    本文提出了使用神经语言模型来克服零 - shot 视觉识别中属性的局限性，并取得了在文本图像检索精度和零 - shot 分类准确率上的显著性提升。

    May, 2016

  • 深度多视角表示学习：目标和优化

    本文研究了多视角数据下的特征表示学习问题，比较了基于神经网络的多种技术，提出了一种新的深度自编码器，通过随机优化方法探索了小批量相关性目标函数，最终发现基于相关性的表现效果最佳。

    Feb, 2016

  • 图形对象中心的演员 - 评论家算法

    最近在无监督的物体中心表示学习问题和其在下游任务中的应用方面取得了重大进展。最新研究支持这样一个论点：在基于图像的物体中心强化学习任务中使用解耦的物体表示有助于策略学习。我们提出了一种新颖的物体中心强化学习算法，结合了演员 - 评论家和基于模型的方法，有效地利用这些表示。我们的方法使用转换编码器提取物体表示，并使用图神经网络来近似环境动力学。所提出的方法填补了开发用于离散或连续动作空间环境的高效物体中心世界模型的研究空白。与基于转换器架构的最先进的无模型演员 - 评论家算法和最先进的整合模型为基础的算法相比，我们的算法在视觉复杂的三维机器人环境和具有组合结构的二维环境中表现更好。

    Oct, 2023

  • CLIP-GCD: 简单的语言指导通用类别发现

    本文通过引入多模态模型 (CLIP)，提出了一种基于文本检索的机制，通过挖掘带标签和无标签文本库中的文本描述来实现联合图像 + 文本半监督聚类，该方法在多个数据集上得到了最优结果。

    May, 2023

  • 使用 Transformer 隐式学习去噪分离表示，应用于遮挡个体再识别

    通过 DRL-Net 网络的设计，使用 transformer 架构来实现不需要严格的人像对齐或任何额外监督，通过对局部特征的全局推理来完成 occluded re-ID，同时使用对话查询指导 undefined semantic components 的表征分离，并设计 CFL 技术来更好地分离 occlusion 和 discriminative ID 特征，对遮挡现象进行更好的消除。

    Jul, 2021

  • 基于神经聚类的视觉表示学习

    我们通过重新审视聚类，一种机器学习和数据分析中最经典的方法之一，来研究机器视觉的一个基本方面：特征的测量。我们提出了特征提取与聚类（FEC）的概念性优雅但惊人的特征提取方法，它将特征提取视为从数据中选择代表并自动捕捉底层数据分布的过程。通过对各种视觉识别模型和任务进行广泛实验，我们验证了 FEC 的有效性、普适性和可解释性。我们希望这项工作将引发对当前事实上的网格式范式的重新思考。

    Mar, 2024