Jan, 2019

通过最优输运改进序列到序列学习

PDF
TL;DR本研究提出了一种基于全局序列级别的指导和最优传输的解决方案来提高序列到序列模型的性能并捕捉长程语义结构，经实验证明该方法在多种 NLP 任务中能够实现一致的改进。
sequence-to-sequence modelsmaximum likelihood estimationglobal sequence-level guidanceoptimal transportwasserstein gradient flow
发现论文，激发创造
  • 使用学生强制最优传输改善文本生成

    利用最大似然估计进行神经语言模型训练时，存在曝光偏差问题。提出使用最优传输匹配训练和测试时的序列，以及基于文本序列的结构和上下文信息进一步改进最优传输学习，有效改善了机器翻译、文本摘要和文本生成任务的表现。

    Oct, 2020

  • 结构化最优输运

    本文提出一个非线性广义离散最优传输模型，可应用于领域自适应和自然语言处理中，同时探索其快速算法和相关属性。Illustrative experiments 展示了模型引导的结构耦合的好处。

    Dec, 2017

  • 跨语义解析的最佳传输后验对准

    跨语言语义解析利用最优传输从高资源语言（例如英语）向训练数据稀缺的低资源语言转移解析能力。我们提出了一种新的跨语言语义解析方法，通过显式地最小化概率潜变量之间的跨语言差异来改善自然语言解析，减少训练样本的使用。我们在 MTOP 和 MultiATIS++SQL 两个数据集上评估方法，在少样本跨语言情景下取得了最先进的结果。消融研究进一步揭示了我们的方法即使没有平行输入翻译也能提高性能。此外，我们展示了我们的模型更好地在潜空间中捕获跨语言结构，从而提高了语义表示的相似性。

    Jul, 2023

  • 使用最优传输学习有向图模型

    使用最优传输的方法实现了一个面向许多有向图的参数学习框架，可以灵活地从不完整数据中推断概率有向图模型中的潜在变量。在多个实验中，该方法展示了恢复真实参数和离散表示学习等任务上的优异性能。

    May, 2023

  • 用于序列到序列学习的经典结构化预测损失

    本文研究了一系列经典目标函数，并将它们应用于神经序列到序列模型的训练，在 IWSLT'14 德语 - 英语翻译和 Gigaword 自动摘要等任务上达到了最新的最优结果。

    Nov, 2017

  • 机器学习中的最优传输近期进展

    本研究综述了 Optimal Transport 在机器学习中的应用，特别关注于监督、无监督、迁移和强化学习领域，并重点介绍了计算 Optimal Transport 的最新发展及其与机器学习实践的相互作用。

    Jun, 2023

  • 通过对抗性对比最优输运进行表示学习

    本文提出了一种通过优化转移距离来学习捕捉数据时间空间关系的紧凑（低维）表示，与此同时通过 Wasserstein GANs 和分类器连接的新框架产生对比学习的负分布，结果在人类动作识别任务中表现良好。

    Jul, 2020

  • 基于迁移学习的少样本分类：利用预处理过的骨干神经网络潜空间进行最优输运映射

    本研究介绍了在 MetaDL Challenge 2020 中排名第二的基于元学习的方法，在少量标注数据的情况下，通过修改隐空间中每个类别的分布来更好地对齐高斯分布，并利用期望最大化算法进一步对齐类别中心，使用 Sinkhorn 算法的最优传输映射。实验证明，该方法优于先前的研究以及使用 KNN 算法、高斯混合模型等其他算法的变体。

    Feb, 2021

  • OTMatch：以最优传输方式改进半监督学习

    本文介绍了一种新的方法 OTMatch，通过使用最优输运损失函数，利用类别之间的语义关系，提高半监督学习的性能。与现有最先进的方法 FreeMatch 相比，在 CIFAR-10、STL-10 和 ImageNet 数据集上分别实现了 3.18%、3.46% 和 1.28% 的错误率降低，证明了我们方法在半监督学习中利用语义关系提升学习性能的有效性和优越性。

    Oct, 2023

  • 全局不变性下的最优输运

    该论文提出了一种在潜在的全局转换情况下进行离散最优传输的通用框架，并通过采用灵活类的不变性来选择转换进行联合最优化求解，成功解决了包括无监督词汇翻译基准在内的各种任务。

    Jun, 2018