词嵌入空间的 Gromov-Wasserstein 对齐

EMNLPAug, 2018

词嵌入空间的 Gromov-Wasserstein 对齐

Gromov-Wasserstein Alignment of Word Embedding Spaces

David Alvarez-Melis, Tommi S. Jaakkola

TL;DR本文将跨语言对应问题直接建模为最优传输问题，通过利用测度恢复算法所产生的词嵌入，使用 Gromov-Wasserstein 距离测量不同语言中单词对的相似度，并证明了该模型在无监督翻译任务中表现良好，效果与当前最先进技术相当。

Abstract

Cross-lingual or cross-domain correspondences play key roles in tasks ranging from machine translation to transfer learning. Recently, purely unsupervised methods operating on monolingual embeddings have become effective alignment tools. Current state-of-the-art methods, however, involve multiple steps, including heuristic post-hoc refinement strategies. In

cross-lingual correspondences optimal transport unsupervised word translation word embeddings gromov-wasserstein distance

发现论文，激发创造

基于优化传输和嵌入方法的无监督图对齐中提供更多表达性

无监督图对齐通过仅利用图结构和节点特征确定带属性图的一对一节点对应关系。我们提出一种名为 CombAlign 的模型框架，将计算节点表示并匹配近似嵌入的方法与确定最优传输的 Gromov-Wasserstein 学习相结合，通过特征转换、基于嵌入的启发式方法和优化权重匹配的约束，逐步优化节点对齐，实验证明在对齐准确性上较现有方法显著改进。

Jun, 2024

跨领域对齐的图优化传输

本文提出了基于图的最优传输（GOT）框架，采用最优传输学习跨领域映射，通过表示实体和动态构建的图来解决节点和结构之间的匹配问题，并通过节点匹配和结构匹配的 Wasserstein 距离和 Gromov-Wasserstein 距离用于损失公式实现对齐，在包括图像 - 文本检索、视觉问答、图像描述、机器翻译和文本摘要等各种任务中取得了一致的高效表现。

Jun, 2020

使用 Wasserstein Procrustes 实现无监督嵌入对齐

本文旨在提出一种新的基于正交矩阵和置换矩阵联合估计的点集对齐算法，并应用在自然语言处理和计算机视觉领域的单语数据的无监督单词翻译问题中，实现了比竞争对手更先进效果却需要更少的计算资源

May, 2018

词嵌入空间的量化瓦瑟斯坦普鲁克斯对齐

提出一种基于投影的无监督量化 Wasserstein Procrustes（qWP）CLWE 模型，该模型利用源和目标单语嵌入空间的量化步骤来估计排列矩阵，以改善经验 OT 求解器的逼近质量，从而在计算成本固定的情况下取得了最先进的双语词典归纳（BLI）任务结果。

Dec, 2022

分布式词嵌入的无监督对齐

本文提出一种基于随机优化的方法，利用概率嵌入技术实现了跨领域的编码对齐，可以成功用于无监督单语言嵌入的双语词汇表推断，且在无监督词汇翻译任务中表现优异。

Mar, 2022

无监督的跨语言词向量空间转移

本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

Sep, 2018

图匹配与节点嵌入的 Gromov-Wasserstein 学习

该论文提出一种基于 Gromov-Wasserstein 方法的图对齐及嵌入学习框架，通过学习最优传输距离完成图的对齐，以及标记距离来引导嵌入向量的学习，并通过结构正则化减小 Gromov-Wasserstein 距离，使用近端点法求解这个优化问题。该方法在现实网络中的匹配问题上具有卓越的性能表现。

Jan, 2019

多模态分布对齐的分层最优输运

该研究提出了一个基于最优传输与聚类结构相结合的层级对齐方法，同时采用 ADMM 算法和 Sinkhorn 距离来提高噪声、模糊或多峰数据的对齐精度，并在合成数据和神经信号解码中进行了应用，表明该方法对于具有一致聚类结构的数据集在跨领域对齐方面具有显著的性能改进作用。

Jun, 2019

基于最优输运的双曲空间表示对齐方法

本研究提出了一种基于用于超平面空间上的点缀 Lorentz 测地空间的大旋量空间上的 gyrobarycenter 映射的正式主义，其衍生出对某些现有欧几里得变换方法到其双曲对应的 OT 的扩展，在检索方面 Euclidean 方法和 hyperbolic 方法具有类似的性能。

Dec, 2020

结构化空间之间的变换与成本正则化最优传输

在这项工作中，我们利用了 Gromow-Wasserstein 和成本正则化的最小化线性最优传输目标之间的并行性质，参数化一种地面成本函数来匹配两个不同的欧氏空间中的测度，通过在转换后的源点和目标点之间计算成本。我们提供了一种近似算法，从不对齐的数据中提取这样的转换，并证明其适用于单细胞空间转录组学 / 多组学匹配任务。

Nov, 2023