在双曲空间中的 Skip-gram 词向量嵌入
本研究使用新的超几何嵌入方法学习文本数据中的词和句的嵌入,这些嵌入似乎编码了层次结构的某些直觉概念,然而,由于隐含的连续层次结构,这种模型更难以研究其学习层次结构的内部机制。
Jun, 2018
本文介绍了一种将超球面上的 Poincaré 模型与 Word2Vec 模型相结合的方法,用于从德 - 英平行语料库中学习跨语言单词表示,并且实验证明通过保留潜在的层级信息,在超球面上的表示法可以提供更好的跨语言嵌入。
May, 2022
本文提出了一种基于 delta-hyperbolicity 的方法,在超球面的笛卡尔积空间中嵌入词嵌入向量,在此基础上利用 Glove 算法学习无监督的词嵌入,并发现了这种嵌入方式相对于高斯词嵌入的几何意义,同时通过这种新类型几何的平行传送得出新的解决 word analogy 的方法,在各种任务上表现出色。
Oct, 2018
通过将 M"obius gyrovector 空间的形式主义与 Poincarе模型的 Riemannian 几何相结合,我们提出了重要深度学习工具的超几何版本:多项式逻辑回归、前馈和循环神经网络。这样可以在超几何空间中嵌入序列数据并进行分类。实验证明,即使超几何优化工具受限,超几何句子嵌入在文本蕴含和噪声前缀识别任务中的表现要么优于,要么与欧几里得变体相当。
May, 2018
该研究提出了一种嵌入树形数据结构的超 bolic embeddings 算法,无需优化即可实现任意低失真,同时提供了 h-MDS 方法来嵌入广泛的度量空间以及可处理不完整信息和可扩展的 PyTorch 实现。
Apr, 2018
介绍了基于超伽马空间表示的图形学习的前沿技术,并重点介绍了超伽马浅层模型和超伽马神经网络技术以及其组件变体的技术细节,同时讨论了超伽马几何图形表示学习的进阶主题。
Nov, 2022
在机器学习中,通过保留相关网络属性的低维嵌入学习图表示是一类重要的问题。本文提出了一种嵌入有向无环图的新方法,使用证明能够更好地模拟树状结构的双曲空间,并使用一组嵌套的测地凸锥来定义分层关系,并证明这些蕴含锥体在欧几里得和双曲空间中均具有一种优化的形式,而且它们可以规范地定义嵌入学习过程。实验显示,我们的方法在表示能力和泛化方面都比最近的强有力的基线有显着的改进。
Apr, 2018
最近几年,将双曲几何方法融入计算机视觉领域的趋势日益增长。本研究调查了将双曲空间整合到度量学习中的效果,特别是在使用对比损失进行训练时。我们通过深入研究评估了使用混合目标函数的视觉变换器 (ViTs) 结果来解决现有文献中关于对比损失温度影响的问题,并提供了观察到的性能改进的理论分析。我们还揭示了双曲度量学习与困难负样本抽样的密切关系,为未来的工作提供了思路。我们的代码可在线获取。
Apr, 2024