超载荷视觉变压器：将度量学习的改进相结合

CVPRMar, 2022

超载荷视觉变压器：将度量学习的改进相结合

Hyperbolic Vision Transformers: Combining Improvements in Metric Learning

Aleksandr Ermolov, Leyla Mirvakhabova, Valentin Khrulkov, Nicu Sebe, Ivan Oseledets

TL;DR基于超几何空间的视觉 Transformer 模型，使用改进版的成对交叉熵损失函数直接优化嵌入向量，经过六种不同的数据集表明得到了全新的最先进性能。

Abstract

metric learning aims to learn a highly discriminative model encouraging the embeddings of similar classes to be close in the chosen metrics and pushed apart for dissimilar ones. The common recipe is to use an encoder to extract embeddings and a distance-based loss function to match the

metric learning hyperbolic geometry vision transformer pairwise cross-entropy loss state-of-the-art performance

发现论文，激发创造

通过困难负例采样理解双曲度量学习

最近几年，将双曲几何方法融入计算机视觉领域的趋势日益增长。本研究调查了将双曲空间整合到度量学习中的效果，特别是在使用对比损失进行训练时。我们通过深入研究评估了使用混合目标函数的视觉变换器 (ViTs) 结果来解决现有文献中关于对比损失温度影响的问题，并提供了观察到的性能改进的理论分析。我们还揭示了双曲度量学习与困难负样本抽样的密切关系，为未来的工作提供了思路。我们的代码可在线获取。

Apr, 2024

HyperML: 用于推荐系统的超几何空间中增强度量学习方法

本文通过研究在非欧几里得空间中学习用户和项目表示的概念，探讨了超宇称空间中度量学习和协同过滤之间的联系，旨在通过度量学习方法填补欧几里得和双曲几何之间的差距。作者提出了概念简单但高效的 HyperML（超宇称度量学习）模型，通过一系列广泛的实验，证明了该模型不仅优于欧几里得模型，还实现了多个基准数据集的最佳表现，展示了双曲几何中个性化推荐的有效性。

Sep, 2018

通过提升的结构特征嵌入进行深度度量学习

本文介绍了一种利用训练批次的算法，将向量的成对距离提升到成对距离矩阵，从而以学习结构化预测目标的方式来优化最先进的特征嵌入方法，同时在 CUB-200-2011、CARS196 和 Online Products 数据集上进行实验，证明在所有实验的嵌入尺寸上都能够显著提高。

Nov, 2015

计算机视觉中的深度度量学习概述

通过深度度学习，优化深度神经网络的目标函数在创建输入数据的增强特征表示中起着至关重要的作用。然而，基于交叉熵的损失函数对于具有大的类内差异和低的类间差异的输入数据分布来说往往不够充分。深度度量学习旨在通过学习将数据样本映射到代表性嵌入空间的表示函数，以度量数据样本之间的相似性。它利用精心设计的采样策略和损失函数，帮助优化产生具有低类间和高类内方差的区分性嵌入空间的生成。在本章中，我们将概述该领域最新的进展，并讨论最先进的深度度量学习方法。

Dec, 2023

自适应 Poincaré 距离点集用于少样本分类

本文提出了一种上下文感知的双曲度量学习方法，可用于 few-shot learning 任务，并且在多个分类基准上的实验结果表明这种方法不仅具有鲁棒性，而且表现优于基线模型。

Dec, 2021

学习深度度量学习中的批内关联

本研究提出了一种基于信息传递网络的方法，能够考虑 mini-batch 中全部样本之间的关系，通过加入注意力机制，使得样本能够在信息传递中自行确定重要性，该方法在 CUB-200-2011、Cars196、Stanford Online Products 和 In-Shop Clothes 数据集上取得了最佳效果。

Feb, 2021

超几何度量学习用于视觉异常检测

使用双曲几何的度量框架提高超出分布检测的性能，并探索其与嵌入维度的关系，改善在资源受限环境中的实际应用。

Mar, 2024

优化曲率学习，实现计算机视觉中的鲁棒双曲深度学习

超辐角深度学习是计算机视觉中一个不断增长的研究方向，基于交替嵌入空间的独特属性。我们的论文关注于曲率学习，通过改进流行的学习算法的模式以及提供一种新颖的归一化方法，约束嵌入在变量代表半径范围内的嵌入空间，从而在直接分类和分层度量学习任务中实现了一致的性能提升。

May, 2024

将语言引导集成到基于视觉的深度度量学习中

采用语言指导目标来进行视觉相似性学习，以更好地实现语义一致性并提升 Deep Metric Learning 的泛化能力。实验证明，语言指导方案可在各项基准测试中实现明显的模型无关性改善，并取得具有竞争力和最先进的结果。

Mar, 2022

双曲图像嵌入

本研究表明，对于许多实际场景，使用双曲嵌入提供了更好的选择，而欧几里得和球面嵌入则主导着计算机视觉任务，如图像分类、图像检索和少样本学习。

Apr, 2019