Sep, 2020

多模态机器翻译的动态上下文引导胶囊网络

PDF
TL;DR本文提出了一种基于动态上下文引导胶囊网络（DCCN）的多模式机器翻译方法，通过引入上下文引导的动态路由机制，与全局和区域视觉特征组合，实现生成翻译时的可变性建模，该方法在英语 - 德语和英语 - 法语翻译多个数据集上超越了当前主流的注意力机制、全局上下文模型和多模式联合表示学习模型。
multimodal machine translationattention mechanismvisual featuresdynamic context-guided capsule networkcontext-guided dynamic routing mechanism
发现论文，激发创造
  • 使用查询引导的胶囊网络增强上下文建模，用于文档级翻译

    本文介绍了一种基于查询引导下的胶囊网络的上下文建模方法，来帮助文档级神经机器翻译生成连贯和一致的翻译；实验结果表明，我们的方法可以在不同领域的多个数据集上显著优于强基线。

    Sep, 2019

  • 动态上下文对应网络（DCN）用于语义对齐

    该论文提出了一种名为 DCCNet 的动态上下文对应网络，通过引入注意力机制，整合了多种语义线索，对计算机视觉中语义对应问题进行了改进，并在多个数据集上验证了该方法的有效性。

    Sep, 2019

  • 基于多视角视觉表示的多模态变压器用于图像字幕生成

    利用多模态 Transformer 模型并结合多视角视觉特征来进行图像描述，这种方法能够同时捕捉到图像内部和图像与文本之间的关系，相较于业内先前方法显著提升了效果，是图像描述任务的最新成果。

    May, 2019

  • 跨模态上下文学习实现多模态生成

    本研究提出了一种利用大型语言模型和扩散模型的多模式生成方法（MGCC），通过在 LLM 嵌入空间中显式学习文本和图像之间的跨模式依赖关系以及生成特定于多物体场景的对象边界框，实现了从复杂的多模式提示序列中生成新图像的能力，并在两个基准数据集上进行了实验验证。

    May, 2024

  • 利用胶囊网络改进多头注意力

    本文利用胶囊网络对多头注意力中缺乏的不同子空间之间的语义重叠问题进行优化，通过采用动态路由和期望最大化算法进行信息聚类和分离，从而对汉英翻译和英德翻译任务的 Transformer 模型进行改进。

    Aug, 2019

  • 一种基于图形的多模态融合编码器在神经机器翻译中的应用

    本论文提出了一种新型的基于图的多模态融合编码器，用于多模态神经机器翻译（NMT）中利用不同模态语义单元之间的细粒度语义对应关系，以优化多模态表示学习，并在 Multi30K 数据集上验证了模型的卓越性能。

    Jul, 2020

  • 将全局视觉特征合并到基于注意力的神经机器翻译中

    这篇论文介绍了多模态的注意力神经机器翻译模型，并将视觉特征整合在编码器和解码器的不同部分中，利用预训练的卷积神经网络提取全局图像特征，评估了不同策略整合全局图像特征的性能，并研究了添加合成多模态的多语言数据的影响，发现其对多模态模型有积极作用。实验结果表明，该模型在数据集上的性能明显优于同类短语级统计机器翻译模型，并是首次在该数据集上纯神经模型在全部评估指标上明显优于 PBSMT 模型。

    Jan, 2017

  • 基于置信度的双向全局上下文感知训练框架用于神经机器翻译

    本研究提出一个训练框架 —— 基于置信度的双向全局上下文感知（CBBGCA），用于在神经机器翻译（NMT）中有效地利用双向全局上下文。通过对 CBBGCA 模型的多任务联合训练和基于置信度的知识蒸馏，本研究得出，该模型在三个大型翻译数据集上的 BLEU 分数均有所提高。

    Feb, 2022

  • 利用胶囊网络实现线性时间神经机器翻译

    本研究使用动态路由的胶囊网络对线性时间神经机器翻译进行了调查，并提出了一种更加灵活的选择，表示和聚合源句子的部分 - 整体信息的方法。在英德任务和英法任务中，该方法与最先进的神经机器翻译系统获得了可比较的结果。这是关于胶囊网络在序列到序列问题上的首次实证研究。

    Nov, 2018

  • 多模机器翻译中的 Gumbel-Attention

    本研究提出一种新的 Gumbel-Attention 多模机器翻译模型，通过对图像特征进行选择，保留与文本相关的信息，进而提高多模机器翻译模型的翻译质量。

    Mar, 2021