ACLDec, 2020

通过最优传输进行的词汇学习，用于神经机器翻译

PDF
TL;DR本研究旨在找出好的词汇，并确定在不需要试验训练的情况下，是否可以找到最优词汇。我们提出了一种新的信息理论视角解释词汇的作用，并将词汇化的目标 —— 找到大小适当的最佳词汇字典 —— 表述为一种最优搬运（OT）问题。我们提出了一个名为 VOLT 的简单高效的解决方案，实证结果表明，在涵盖 WMT-14 英德和 TED 的 52 个翻译方向等各种情况下，VOLT 的表现优于广泛使用的词汇集，例如，在英德翻译中，VOLT 实现了近 70% 的词汇量减少和 0.5 BLEU 增益。此外，与 BPE-search 相比，VOLT 将英德翻译的搜索时间从 384 GPU 小时减少到 30 GPU 小时。
发现论文，激发创造
  • 使用学生强制最优传输改善文本生成

    利用最大似然估计进行神经语言模型训练时，存在曝光偏差问题。提出使用最优传输匹配训练和测试时的序列，以及基于文本序列的结构和上下文信息进一步改进最优传输学习，有效改善了机器翻译、文本摘要和文本生成任务的表现。

    Oct, 2020

  • 最优输运下的神经主题模型

    通过最优传输理论，提出一种新的神经主题模型来更好地实现文档表示和一致 / 多样化的主题，特别地，通过最小化文档的 OT 距离来学习文档的主题分布，实验证明该模型在常规和短文本的文本分析中表现显著优于现有的神经主题模型。

    Aug, 2020

  • 神经机器翻译的词汇操作

    本文提出了一种句子级或批量级词汇表来缓解神经机器翻译模型中需使用大词汇表的问题。此方法根据源句子中每个单词或短语的翻译选项，选择非常小的目标词汇表，并基于单词翻译模型或双语短语库来实现。实验结果表明，该方法在英法翻译任务中的 BLEU 分数比 Jean 等人使用大词汇表的神经机器翻译系统高 1 个点。

    May, 2016

  • 神经机器翻译中使用非常大的目标词汇量

    本文提出了一种基于重要性采样的方法，使我们可以使用非常大的目标词汇，有效地进行解码，可以优于基准模型和 LSTM-based 神经机器翻译模型，并使用多个模型集成实现了英 -> 德翻译的最先进性能（由 BLEU 度量）。

    Dec, 2014

  • 神经机器翻译的词汇选择策略

    本文介绍了关于翻译模型的研究，尝试通过使用上下文和嵌入式选择方法对其进行改进，可以大幅度地提高神经翻译模型的效率和速度。

    Oct, 2016

  • OT-Attack: 通过最优传输优化增强视觉语言模型的对抗迁移性

    基于视觉 - 语言预训练的模型 (VLP) 展示了在处理图像和文本方面的令人印象深刻的能力，然而它们容易受到多模态对抗样本的攻击。本研究通过探索数据增强和图像 - 文本模态交互之间的最佳对齐问题，提出了一种基于最优输运理论的对抗性攻击方法，命名为 OT-Attack，以有效地对抗过拟合问题，并在图像 - 文本匹配任务中的各种网络架构和数据集中进行的广泛实验显示，OT-Attack 在对抗性可迁移性方面优于现有的最先进方法。

    Dec, 2023

  • 通过最优输运改进序列到序列学习

    本研究提出了一种基于全局序列级别的指导和最优传输的解决方案来提高序列到序列模型的性能并捕捉长程语义结构，经实验证明该方法在多种 NLP 任务中能够实现一致的改进。

    Jan, 2019

  • 领域内翻译最佳微调的词汇和 BPE 设置的系统分析 —— 以 NMT 为例

    本文对不同的子词分词策略、词汇生成方法及 Fine-tuning 进行了系统的实证研究，旨在找到一种最佳的 Fine-tuning 领域特定模型的设置，实验结果表明最好的模型达到了比基线模型 6 个 BLEU 分数的提升效果。

    Mar, 2023

  • 通过最优传输压缩提升低资源语言的跨语言信息检索

    本文提出了 OPTICAL：优化传输蒸馏用于低资源跨语种信息检索，该方法利用优化传输问题将知识从双语数据中分离出来，只需要少量数据就可以在低资源语种上显著提高效果。

    Jan, 2023

  • 跨语义解析的最佳传输后验对准

    跨语言语义解析利用最优传输从高资源语言（例如英语）向训练数据稀缺的低资源语言转移解析能力。我们提出了一种新的跨语言语义解析方法，通过显式地最小化概率潜变量之间的跨语言差异来改善自然语言解析，减少训练样本的使用。我们在 MTOP 和 MultiATIS++SQL 两个数据集上评估方法，在少样本跨语言情景下取得了最先进的结果。消融研究进一步揭示了我们的方法即使没有平行输入翻译也能提高性能。此外，我们展示了我们的模型更好地在潜空间中捕获跨语言结构，从而提高了语义表示的相似性。

    Jul, 2023