Jun, 2021

利用双向流形对齐学习可逆嵌入映射

PDF
TL;DR我们提出了一个双向流形对齐（BDMA）算法，通过显式地训练它成为双射，来学习两个流形之间的非线性映射。我们通过针对语言对而不是个别的有向源和目标组合训练模型来演示 BDMA，从而将模型数量减少了 50%。我们表明，在 “正向”（源到目标）方向上训练 BDMA 的模型可以成功地将单词映射到 “反向”（目标到源）方向，并产生与标准单向翻译模型成果相当（甚至更好）的性能。我们还展示了 BDMA 如何降低模型的整体大小。
bi-directional manifold alignmentnon-linear mappinglanguage translationmodel reductionperformance
发现论文，激发创造
  • 面向几何感知的领域自适应方法用于词嵌入无监督对齐

    提出了一种基于流形的几何学方法，用于学习源语言和目标语言之间的无监督对齐单词嵌入。该方法将对齐学习问题进行了公式化，并将其视为具有两倍随机矩阵的流形上的域自适应问题。实验表明，该方法在多种语言对的双语词汇识别任务上优于现有的最优传输方法，尤其对于远程语言对的性能改进更为显著。

    Apr, 2020

  • 基于判别流形嵌入和对齐的无监督领域自适应

    该论文提出了一种使用 Riemannian 流形学习框架实现无监督域自适应的方法，通过软标签建立目标域上的概率判别准则，并将其扩展为全局逼近方案，利用流形度量对齐与嵌入空间兼容，同时导出理论误差界限，实现转移性和区分性的一致性，实验结果表明所提出的流形学习框架具有优越性。

    Feb, 2020

  • 基于流形嵌入分布对齐的视觉领域自适应

    该论文提出了一种 Manifold Embedded Distribution Alignment (MEDA) 方法，它在 Grassmann 流型空间中通过结构风险最小化学习一个领域不变的分类器，同时进行动态分布对齐以定量评估边际和条件分布的相对重要性。该方法在视觉领域适应任务中显著提高了分类精度，是首个尝试用于流形领域适应的动态分布对齐的方法。

    Jul, 2018

  • 透过双向语言模型编辑解除逆转咒语

    本文研究双向语言模型编辑，旨在提供严格的模型编辑评估，以评估编辑后的语言模型是否能双向回忆编辑的知识。引入了一种新的可逆性评估度量，并构建了一个名为 Bidirectional Assessment for Knowledge Editing (BAKE) 的基准来评估编辑后模型在回忆编辑的知识反向方向上的可逆性。我们惊奇地发现，虽然当前的编辑方法和语言模型在编辑方向上能有效地回忆编辑的事实，但在反向方向上评估时存在严重不足。为了缓解这种逆转的问题，提出了一种名为 Bidirectionally Inversible Relationship moDeling (BIRD) 的方法。设计了一组编辑目标，将主体和客体之间的双向关系纳入更新后的模型权重中。实验证明，BIRD 通过问答和判断提高了四个不同规模的代表性语言模型的性能。

    Oct, 2023

  • 在潜藏度量空间中学习多语言词向量：一种几何方法

    本文提出了一种新的几何方法，通过单语嵌入和双语词典学习双语映射，并将其建模为平滑的黎曼流形上的优化问题，旨在解决双语词典感应和多语言学习中的问题。该方法分解了学习源语言到目标语言的变换，包括学习用于将语言特定的嵌入旋转到公共空间的旋转以及学习在公共空间中对嵌入之间相似性进行建模的相似性度量。结果表明，该方法在双语词典感应和跨语言词相似性任务上优于以前的方法，同时还将该框架推广到了多种语言的共同潜在空间表示上，展示了联合学习处理多语言问题的有效性。

    Aug, 2018

  • LNMap: 基于潜空间非线性映射的双语词典感应中的同构假设偏移

    提出了一种新的半监督方法，通过两个独立训练的自编码器的潜在空间使用非线性映射，学习用于双语词汇识别的跨语言词嵌入表示，并在 15 种不同方向的语言对（包括资源丰富和低资源语言）的两个数据集上进行了广泛的实验，结果表明该方法优于现有模型。

    Apr, 2020

  • 单向无监督域映射

    该论文提出了一种学习 $oldsymbol {G}_{AB}$ 而不学习 $oldsymbol {G}_{BA}$ 的方法，通过学习一种能够保持数据距离的映射来实现，实验结果表明该方法不仅可以实现单面的映射学习，而且相比于现有的基于循环约束的方法具有更好的数值结果表现，同时提供代码公开。

    Jun, 2017

  • 蛋白质表示学习的深度流形变换

    我们提出了一种新的深度流形转换方法来进行通用蛋白质表示学习（DMTPRL），通过流形学习策略改进学习嵌入的质量和适应性，利用基于图内节点相似度的新颖流形学习损失训练，DMTPRL 方法在流行数据集上的各种下游任务中表现优于最先进的基线结果，证实了我们学习通用和鲁棒的蛋白质表示的方法。

    Jan, 2024

  • 判别式流形传播的无监督域适应

    提出了一种基于黎曼流形学习的概率判别标准，用于使用软标签在目标域上实现可转移性和可区分性，该方法可以处理许多不同的领域自适应问题，并通过大量实验展示出优越性。

    Aug, 2020

  • 基于双语词嵌入映射的神经跨语言关系抽取

    本文提出了基于双语词向量映射的方法，将一个好的源语言神经网络关系抽取模型直接应用于目标语言，从而实现了跨语言关系抽取模型的转移。实验证明该方法在多种目标语言中表现出较好的性能。

    Oct, 2019