通过困难负例采样理解双曲度量学习

Apr, 2024

通过困难负例采样理解双曲度量学习

Understanding Hyperbolic Metric Learning through Hard Negative Sampling

Yun Yue, Fangzhou Lin, Guanyi Mou, Ziming Zhang

TL;DR最近几年，将双曲几何方法融入计算机视觉领域的趋势日益增长。本研究调查了将双曲空间整合到度量学习中的效果，特别是在使用对比损失进行训练时。我们通过深入研究评估了使用混合目标函数的视觉变换器 (ViTs) 结果来解决现有文献中关于对比损失温度影响的问题，并提供了观察到的性能改进的理论分析。我们还揭示了双曲度量学习与困难负样本抽样的密切关系，为未来的工作提供了思路。我们的代码可在线获取。

Abstract

In recent years, there has been a growing trend of incorporating hyperbolic geometry methods into computer vision. While these methods have achieved state-of-the-art performance on various metric learning tasks u

hyperbolic geometry computer vision metric learning contrastive loss hyperbolic space

发现论文，激发创造

超载荷视觉变压器：将度量学习的改进相结合

基于超几何空间的视觉 Transformer 模型，使用改进版的成对交叉熵损失函数直接优化嵌入向量，经过六种不同的数据集表明得到了全新的最先进性能。

Mar, 2022

计算机视觉中的双曲几何：一项调查

本文是第一篇也是目前最全面的关于超几何空间在计算机视觉应用领域的文献综述，讨论了超几何空间背景、算法及其在图像分类等视觉数据处理中的应用，并对未来研究方向进行了探讨。

Apr, 2023

HyperML: 用于推荐系统的超几何空间中增强度量学习方法

本文通过研究在非欧几里得空间中学习用户和项目表示的概念，探讨了超宇称空间中度量学习和协同过滤之间的联系，旨在通过度量学习方法填补欧几里得和双曲几何之间的差距。作者提出了概念简单但高效的 HyperML（超宇称度量学习）模型，通过一系列广泛的实验，证明了该模型不仅优于欧几里得模型，还实现了多个基准数据集的最佳表现，展示了双曲几何中个性化推荐的有效性。

Sep, 2018

双曲神经网络

通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合，我们提出了重要深度学习工具的超几何版本：多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明，即使超几何优化工具受限，超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于，要么与欧几里得变体相当。

May, 2018

双曲表征学习：再探和提高

本文提出了一种名为 “超宾说外显”（HIE）的方法，通过使用节点到原点的超宾距离（即超宾范数）推导出的无成本分层信息来改进现有的超宾表示方法，并在各种模型和不同任务上的广泛实验中展示了该方法的多功能性和适应性。

Jun, 2023

计算机视觉中的双曲深度学习：一项调查

本文介绍超几何学习在计算机视觉中的应用，并提出了三个主要的研究主题，包括超几何学习的实现、已有研究中的关键问题以及相关领域的未来方向。

May, 2023

双曲图形对比学习的对齐和外壳各向同性

基于超辐角的对比学习在学习高质量图嵌入中表现良好，通过设计对齐度量和均匀性度量，解决了生态树属性和泊松球边界处的各向同态问题，实验证明了该方法在监督学习和自我监督学习中的有效性。

Oct, 2023

超几何与欧几里得嵌入在少样本学习中：同一硬币的两面

最近在表示学习方面的研究表明，分层数据在双曲空间中能产生低维度和高信息量的表示。然而，即使双曲嵌入在图像识别方面引起了人们的关注，其优化过程容易遇到数值障碍。此外，与传统的欧几里德特征相比，目前尚不清楚哪些应用最能受益于双曲性所施加的隐式偏差。本文主要着眼于原型双曲神经网络，特别关注双曲嵌入在高维度情况下收敛于庞加莱球边界的倾向，以及这对少样本分类的影响。我们展示了最佳的少样本结果是通过在共同的双曲半径下得到的双曲嵌入得到的。与以往的基准结果相比，我们证明了无论嵌入维度如何，通过配备欧几里德度量的固定半径编码器都可以获得更好的性能。

Sep, 2023

在双曲空间中的 Skip-gram 词向量嵌入

本文介绍了一种在超几何空间中学习自由文本词嵌入的算法，并使用基于超几何距离的目标函数在 word2vec 的 skip-gram 负采样架构中进行。实验结果表明在超几何空间低维度中，超几何词嵌入具有潜在优势，但在一些方面和欧几里得词嵌入没有绝对的优势。具体分析了在曲率空间中类比分析任务的些微差别。

Aug, 2018

超几何度量学习用于视觉异常检测

使用双曲几何的度量框架提高超出分布检测的性能，并探索其与嵌入维度的关系，改善在资源受限环境中的实际应用。

Mar, 2024