BriefGPT.xyz
Ask
alpha
关键词
cross-lingual image captioning
搜索结果 - 4
嵌入式异构关注变换器用于跨语言图像字幕生成
我们提出了一种嵌入的异构关注转换器（EHAT），用于建立跨领域的推理路径，以进行跨语言图像字幕生成，并集成到变压器中。EHAT 由掩蔽的异构交叉关注（MHCA）、异构关注推理网络（HARN）和异构协同关注（HCA）组成，在编码器中通过特殊的
→
PDF
a year ago
Cross2StrA: 无配对跨语言图像字幕生成与跨语言跨模态结构中心对齐
本文提出引入场景图和句法树来解决跨语言图像描述中存在的不相关性和表达不流畅的问题，并介绍了一种跨语言和跨模态的后向翻译训练方法，实现图像到最终描述的完全对齐，实验结果表明该模型在提高图像描述的相关性和流畅性方面表现出很大的优势。
PDF
a year ago
MM
无配对跨语言图像字幕生成和自监督奖励
本文介绍一种利用增强学习的自监督奖励和多级视觉语义匹配模型来生成跨语言图像描述的方法，在英语和汉语两种语言测试中分别取得了显著的性能提升。
PDF
5 years ago
WMT17 多模式翻译任务的 CUNI 系统
本文描述了我们在 WMT17 多模态翻译任务中的提交内容，其中通过使用来自平行语料和回译的方法获取了额外的数据，建立了纯文本神经翻译模型进行多模态翻译，并使用最佳系统将英语字幕翻译为目标语言。我们还展示了一些未能有效提高翻译性能的负面结果。
PDF
7 years ago
Prev
Next