跨语言嵌入对齐的内积投影过滤

ICLRJun, 2020

Filtered Inner Product Projection for Crosslingual Embedding Alignment

Vin Sachidananda, Ziyi Yang, Chenguang Zhu

TL;DR本文提出了一种方法 -“过滤内积投影（FIPP）”，用于在双语字典诱导的上下文中将嵌入映射到共同的表示空间，并评估了 FIPP 的性能。不同于之前的方法，FIPP 在两个嵌入中识别共同的几何结构，然后仅在该几何结构上对这些嵌入的格拉姆矩阵进行对齐，且具有易于实现和可伸缩的计算优势。在各种语言对的 MUSE 数据集上，FIPP 的结果优于现有方法。

Abstract

Due to widespread interest in machine translation and transfer learning, there are numerous algorithms for mapping multiple embeddings to a shared representation space. Recently, these algorithms have been studie

machine translation transfer learning bilingual dictionary induction filtered inner product projection muse dataset

发现论文，激发创造

多语言词嵌入的无监督超级对齐

本文研究了将在多种语言中学习到的连续单词表示对齐到一个共同空间的问题，并提出了一种新的方案来保证映射的组合性，从而在维持直接单词翻译的竞争性表现的同时，实现了间接单词翻译的更好对齐。

Nov, 2018

通过中间相遇提升跨语言词嵌入

本研究中，我们提出了一种修改交叉语言同义词向中心点移动的方法，可通过最初的线性变换对两个不相交的单语向量空间进行对准来有效学习交叉语言词嵌入，并实现更好的交叉语言整合。同时，我们的实验结果表明该方法明显优于现有方法在单语和跨语言评估任务方面的表现。

Aug, 2018

领域流插值的鲁棒无监督跨语言词嵌入

该论文探讨了一种无监督的方法，用于推导出一种通用的，跨语言的词嵌入空间，其中不同语言中具有类似语义的单词彼此接近。通过使用线性插值的一系列中间空间，该方法模拟了计算机视觉中的域流方法，以提高跨语言自然语言推理的性能。

Oct, 2022

通过可逆投影的无监督适应实现跨语言句法转移

本文提出了一种生成模型，通过结构化的正则先验利用标记源数据和未标记目标数据联合学习源模型和目标模型的参数来解决在距离较远的语言之间跨语言迁移的问题，并使用可逆投影来学习一种新的公共嵌入空间，以对不完美的跨语言词嵌入输入进行补偿。该方法在使用英语作为唯一源语料库并传输到广泛的目标语言的通用依赖树库上进行评估，在与英语相距较远的该数据集中的 10 种语言中，我们的方法相较于使用最先进的判别模型的直接转移方法，在词性标注和依赖分析方面分别获得了平均 5.2％和 8.3％的绝对改善。

Jun, 2019

无监督机器翻译实现双语词库归纳

本文提出一种新的方法，使用无监督机器翻译的方法生成合成平行语料库，进而提取双语词汇表。该方法可与任何词向量和跨语言映射技术一起使用，并且除了用于训练词向量的单语语料库外，不需要任何其他资源。在评估方面，与最近邻和 CSLS 技术相比，该方法在标准 MUSE 数据集上提高了 6 个准确度点，确立了新的最先进技术。

Jul, 2019

将普克鲁斯特分析泛化以提升双语词典感知能力

本文提出了一种新方法，即通过将两种语言映射到一个潜在的第三个空间中，而不是直接对其进行线性对齐，从而更容易地学习到近似的对齐，在低资源情况下可以通过支持语言进一步提高性能的双语词典归纳方法。

Aug, 2018

无监督的跨语言词向量空间转移

本文提出了一种基于无监督学习的算法，通过分布匹配和最小化回译损失来优化两种语言单词嵌入空间之间的转换函数，使用神经网络计算 Sinkhorn 距离评估性能并在跨语言词汇相似度预测和双语词汇归纳等任务中具有强大的性能。

Sep, 2018

分布式词嵌入的无监督对齐

本文提出一种基于随机优化的方法，利用概率嵌入技术实现了跨领域的编码对齐，可以成功用于无监督单语言嵌入的双语词汇表推断，且在无监督词汇翻译任务中表现优异。

Mar, 2022

深度神经网络加速器的快速内积算法和架构

提出了一种名为自由流水线快速内积（FFIP）的新算法及其硬件架构，该算法改进了 Winograd 在 1968 年提出的一种未被充分探索的快速内积算法（FIP）。与 Winograd 最小滤波算法不同，FIP 适用于所有可分解为矩阵乘法的机器学习模型层，包括全连接、卷积、循环和注意力 / 变换层。我们首次在机器学习加速器中实现了 FIP，提出了 FFIP 算法和通用架构，从而从本质上提高了 FIP 的时钟频率和吞吐量。此外，我们对 FIP 和 FFIP 算法及架构进行了机器学习特定的优化。我们发现，在相同类型的计算平台上，FFIP 对于非稀疏机器学习模型的 8 到 16 位定点输入实现了比同类先前解决方案更高的吞吐量和计算效率。

Nov, 2023

在潜藏度量空间中学习多语言词向量：一种几何方法

本文提出了一种新的几何方法，通过单语嵌入和双语词典学习双语映射，并将其建模为平滑的黎曼流形上的优化问题，旨在解决双语词典感应和多语言学习中的问题。该方法分解了学习源语言到目标语言的变换，包括学习用于将语言特定的嵌入旋转到公共空间的旋转以及学习在公共空间中对嵌入之间相似性进行建模的相似性度量。结果表明，该方法在双语词典感应和跨语言词相似性任务上优于以前的方法，同时还将该框架推广到了多种语言的共同潜在空间表示上，展示了联合学习处理多语言问题的有效性。

Aug, 2018