关键词multi-modal machine translation
搜索结果 - 5
- 多模态机器翻译调查：任务、方法与挑战
多模态机器翻译是近年来引起学术界和工业界广泛关注的研究领域，本文通过综述先前的 99 项研究工作，全面总结了主要模型、数据集和评估指标，分析了各种因素对模型性能的影响，并讨论了未来该领域的研究方向。与之前限制在早期多模态机器翻译的调查不同， - 豪萨视觉基因组：用于多模式英豪机器翻译的数据集
该研究创建了首个 Hausa Visual Genome 语料库，其中包含 32923 个图像及图像描述，可用于实现 Hausa-English 机器翻译、多模式研究、图像描述等多个自然语言处理和生成任务。
- 多模机器翻译中的 Gumbel-Attention
本研究提出一种新的 Gumbel-Attention 多模机器翻译模型，通过对图像特征进行选择，保留与文本相关的信息，进而提高多模机器翻译模型的翻译质量。
- AAAI多模机器翻译的视觉一致性正则化训练
本研究提出了视觉协议规范化训练的方法，通过引入简单而有效的多头协同注意模型，同时训练源到目标和目标到源的翻译模型，鼓励它们在生成语义等效的视觉词汇时共享相同的视觉信息。结果表明，该方法在 Multi30k 数据集上的性能优于竞争基线，并且进 - CVPR无监督多模态神经机器翻译
本研究提出了一种基于多模态机器翻译框架的无监督神经机器翻译方法，通过图像识别加强双向多模态翻译的学习效果，在 Multi30K 数据集上与传统基于文本的神经机器翻译相比，本方法有更好的实验结果。