Sep, 2024

HVT: 一种用于非欧几里得空间学习的综合视觉框架

HTML
PDF
TL;DR本研究解决了在非欧几里得空间中数据表示的不足，提出了一种新的超曲面视觉变换器（HVT），利用超曲几何改进自注意力机制，从而更有效地建模图像数据中的层次和关系依赖性。研究表明，该方法在图像分类任务上，尤其是在ImageNet数据集上，表现出更好的性能。
发现论文，激发创造
  • 双曲图像嵌入

    本研究表明，对于许多实际场景，使用双曲嵌入提供了更好的选择，而欧几里得和球面嵌入则主导着计算机视觉任务，如图像分类、图像检索和少样本学习。

    Apr, 2019

  • 超载荷视觉变压器：将度量学习的改进相结合

    基于超几何空间的视觉Transformer模型，使用改进版的成对交叉熵损失函数直接优化嵌入向量，经过六种不同的数据集表明得到了全新的最先进性能。

    Mar, 2022

  • 计算机视觉中的双曲几何: 一项调查

    本文是第一篇也是目前最全面的关于超几何空间在计算机视觉应用领域的文献综述，讨论了超几何空间背景、算法及其在图像分类等视觉数据处理中的应用，并对未来研究方向进行了探讨。

    Apr, 2023

  • 计算机视觉中的双曲深度学习：一项调查

    本文介绍超几何学习在计算机视觉中的应用，并提出了三个主要的研究主题，包括超几何学习的实现、已有研究中的关键问题以及相关领域的未来方向。

    May, 2023

  • HMSN: 使用理想原型进行聚类的双曲超球面自监督学习

    本文研究使用超几何流形来进行自监督学习中的原型聚类。作者扩展了遮蔽孪生网络以操作包含理想边界的超几何空间，并利用超几何投影来确保下游任务的表示保持超几何性。实验证明这种方法在极少样本学习任务中具有改进，并在低维线性评估任务中与欧几里得方法相当。

    May, 2023

  • 核点聚集下的双曲卷积

    本文提出了一种新的可训练超几何卷积神经网络 HKConv，它在保持与置换等变和局部邻域平移不变性的同时，能够有效地按照超几何形状学习本地特征，尤其在层次或类似树状数据的嵌入方面表现出色。

    Jun, 2023

  • 双曲表征学习:再探和提高

    本文提出了一种名为“超宾说外显”（HIE）的方法，通过使用节点到原点的超宾距离（即超宾范数）推导出的无成本分层信息来改进现有的超宾表示方法，并在各种模型和不同任务上的广泛实验中展示了该方法的多功能性和适应性。

    Jun, 2023

  • 通过困难负例采样理解双曲度量学习

    最近几年，将双曲几何方法融入计算机视觉领域的趋势日益增长。本研究调查了将双曲空间整合到度量学习中的效果，特别是在使用对比损失进行训练时。我们通过深入研究评估了使用混合目标函数的视觉变换器(ViTs)结果来解决现有文献中关于对比损失温度影响的问题，并提供了观察到的性能改进的理论分析。我们还揭示了双曲度量学习与困难负样本抽样的密切关系，为未来的工作提供了思路。我们的代码可在线获取。

    Apr, 2024

  • Hypformer：在双曲空间完全探索高效的双曲变换器

    在超几何模型中使用洛伦兹模型，我们提出了Hypformer，这是一种新型的超几何变压器，它有效地处理了大规模数据表示和大型模型的问题。

    Jul, 2024

  • HVT：用于非欧几里得空间学习的综合视觉框架

    本研究针对非欧几里得空间中数据表示的不足，提出了一种新颖的方法——超曲面视觉变换器（HVT），基于超几何内容增强自注意力机制，以更有效地建模图像数据中的层次和关系依赖。研究结果表明，HVT在ImageNet数据集上的图像分类表现得到了显著提升。

    Sep, 2024