双曲表征学习:再探和提高
通过将符号数据嵌入超载空间(或更确切地说是n维庞加莱球)来学习符号数据的分层表示的方法,通过实验证明Poincare嵌入在具有潜在层次结构的数据上显着优于欧几里得嵌入,无论是在表示能力还是泛化能力方面。
May, 2017
研究了使用超几何空间模型学习大型分类体系中的嵌入向量,其中Lorentz模型的效率高于Poincaré-ball模型,并发现该方法可以应用于发现公司组织结构和语言家族之间的历史关系。
Jun, 2018
本文针对数据具有分层结构的情况,提出了一个算法,通过对抗性示例注入的方式,有效地学习了一个能够在如下情况下使用的大边际超平面:数据具有分层结构,嵌入到双曲空间的性能不劣,且直接在双曲空间中学习分类器时的维度较低。
Apr, 2020
本文提出了一种新的通过度量方法学习超似曲嵌入的方法,使用一种名为TreeRep的快速算法学习一种逼近原始度量的树结构,可以用于提取分层信息以及逼近度量。实验证明,TreeRep算法不仅比之前的算法快数个数量级,而且生成的度量失真率较低且平均精度高于大多数之前用于学习超似曲嵌入、提取层次信息和逼近度量的算法。
May, 2020
基于超几何空间的视觉Transformer模型,使用改进版的成对交叉熵损失函数直接优化嵌入向量,经过六种不同的数据集表明得到了全新的最先进性能。
Mar, 2022
本文是第一篇也是目前最全面的关于超几何空间在计算机视觉应用领域的文献综述,讨论了超几何空间背景、算法及其在图像分类等视觉数据处理中的应用,并对未来研究方向进行了探讨。
Apr, 2023
本文研究使用超几何流形来进行自监督学习中的原型聚类。作者扩展了遮蔽孪生网络以操作包含理想边界的超几何空间,并利用超几何投影来确保下游任务的表示保持超几何性。实验证明这种方法在极少样本学习任务中具有改进,并在低维线性评估任务中与欧几里得方法相当。
May, 2023
本文提出了一种新的基于扩散流形学和双曲几何学的分层数据嵌入和距离测量方法,理论上可以恢复分层结构,并且在图嵌入基准和分层数据集上证明了其有效性和优势。
May, 2023
最近在表示学习方面的研究表明,分层数据在双曲空间中能产生低维度和高信息量的表示。然而,即使双曲嵌入在图像识别方面引起了人们的关注,其优化过程容易遇到数值障碍。此外,与传统的欧几里德特征相比,目前尚不清楚哪些应用最能受益于双曲性所施加的隐式偏差。本文主要着眼于原型双曲神经网络,特别关注双曲嵌入在高维度情况下收敛于庞加莱球边界的倾向,以及这对少样本分类的影响。我们展示了最佳的少样本结果是通过在共同的双曲半径下得到的双曲嵌入得到的。与以往的基准结果相比,我们证明了无论嵌入维度如何,通过配备欧几里德度量的固定半径编码器都可以获得更好的性能。
Sep, 2023