EMNLPOct, 2023

图像叙述中的半监督多模态指代消解

PDF
TL;DR研究采用图像和描述性文本的多模态共指消解，在细粒度的图像 - 文本对齐、叙述语言的内在歧义和缺乏大规模标注数据集的条件下，提出了一种数据效率的半监督方法，用于解决多模态背景下的共指消解和叙述依托问题，通过跨模态框架结合有标注和无标注数据的损失优化，实验证明该方法在共指消解和叙述依托任务上的性能优于强基线模型。
multimodal coreference resolutionimage-text alignmentnarrative languagedata efficient semi-supervised approachcross-modal framework
发现论文，激发创造
  • 图像叙述中的共指消解

    本文提出了一个使用弱监督技术的解析图片故事中指代关系的新技术，建立了包含核心链的图像文本数据集，并证明了该技术对提高图像叙事的效果。

    Nov, 2022

  • 学习多模态语义对齐模型以进行故事可视化

    在 GAN 生成模型中学习文本和图像表示之间的语义对齐以缓解文本图像语义不匹配问题，进而生成连贯、高质量的多句故事可视化。

    Nov, 2022

  • 跨模态图像 - 文本联合嵌入的网络监督检索

    文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法，通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。

    Aug, 2018

  • 多张图片，多个句子文档中的多模式链接的无监督发现

    通过探索图像和文本之间关联的算法，并基于文档中图像与文本集合是否同时出现的结构化训练目标，在不依赖于显式的多模态注释的情况下发现图像和句子之间的关系。

    Apr, 2019

  • 理解、分类和预测语义图像 - 文本关系

    本文借鉴视觉传达研究，探究了多模式信息检索的有用语义图像 - 文本关系，在自动收集和扩充数据资源的基础上，采用深度学习系统和三种度量标准（跨模态互信息、语义相关性和图像与文本的状态关系）对八种语义图像 - 文本类别进行了预测，并在一个严格的测试集上展示了该方法的可行性。

    Jun, 2019

  • 新闻故事：用视觉摘要来说明文章

    该研究探索了一个新的问题，即学习对不同长度和数量的图像文本具有强鲁棒性的自我监督视觉语言表示法，其介绍了一个包括超过 31M 篇文章，22M 张图片和 1M 个视频的大规模多模态数据集，并表明最先进的图像文本对齐方法不能很好地处理带有多张图像和更长篇幅的叙述，且还提出了一种直观的基线方法，在 GoodNews 数据集上零样本图像集检索表现比这些方法高出 10%。

    Jul, 2022

  • 通过多模态蕴含修订图像 - 文本检索

    本论文提出了一种多模态蕴含分类器来确定图像的语句，以及开发了一种通用可调节学习速率策略来教授一个检索模型区分这些蕴含的语句和其他负样本。在实验中，我们手动注释了一个蕴含更正的图像文本检索数据集用于评估。结果表明，所提出的蕴含分类器达到了约 78% 的准确度，并持续提高了图像文本检索基线的性能。

    Aug, 2022

  • 多模态情境对话中的参照解析和上下文变化用于数据可视化探索

    该论文探讨在多模态对话中，为了创建新的可视化效果，如何通过引用解析来实现用户对大屏幕可视化的引用。它描述了实体引用注释和引用解析管道，并研究了传统 CRF 和深度学习 / 转换器模型（BiLSTM-CRF 和 BERT-CRF）。结果表明，深度学习方法的转移学习显著提高了性能，虽然 CRF 仍然优于它们，但表明传统方法在低资源数据方面可能具有更好的泛化能力。

    Sep, 2022

  • 图像对于多模态命名实体识别的角色研究

    研究了多模态融合技术在多模态命名实体识别任务中的应用，通过分析不同技巧的融合效果，发现添加图片信息不总是有益的，并探究了使用字幕丰富上下文的作用。在三个社交平台数据集上的实验揭示了现有多模态模型的瓶颈，以及使用字幕的益处。

    Oct, 2020

  • 多模态半监督学习文本识别

    该文章提出了一种半监督的多模态文本识别方法（SemiMTR），通过使用自监督学习和监督学习相结合的单一阶段，将现有的多模态场景文本识别方法拓展到了未标注数据的应用。该算法利用对视觉模型的预训练和语言模型的微调，同时在每个模态单独地应用连续性正则化方法进行训练，取得了在多个场景文本识别基准测试上的最新成果。

    May, 2022