Apr, 2019

CITE：图像 - 文本语篇关系语料库

PDF
TL;DR本文介绍了一种新颖的群体资源，用于烹饪食谱图像 - 文本上下文中的推理，并以连贯关系的形式表述。该资源与以前的语篇结构标注语料库类似，有助于建立更好的自然通信和常识推理理解，其发现对各种应用具有重要意义，例如对多模态文档的理解和产生。
multimodal discoursecoherence relationscorpuscommon-sense reasoningapplications
发现论文，激发创造
  • 理解、分类和预测语义图像 - 文本关系

    本文借鉴视觉传达研究，探究了多模式信息检索的有用语义图像 - 文本关系，在自动收集和扩充数据资源的基础上，采用深度学习系统和三种度量标准（跨模态互信息、语义相关性和图像与文本的状态关系）对八种语义图像 - 文本类别进行了预测，并在一个严格的测试集上展示了该方法的可行性。

    Jun, 2019

  • 跨模态统一建模技术用于字幕生成

    该论文利用与计算模型相关的连贯性关系研究了图像字幕生成的信息需求和目标，通过特定的协议，获取 10,000 个图像与字幕的连贯性关系，将其用于学习推理的新任务，得到的结果显示，通过连贯性关系提高了生成的字幕的一致性和质量。

    May, 2020

  • 烹饪情境下的跨模态检索：学习语义文本 - 图像嵌入

    本文提出了一种跨模态检索模型，采用视觉和文本数据对餐品及其食谱进行建模，并在包含近 100 万图像配方对的 Recipe1M 数据集上进行了验证，取得了比先前最先进模型更好的效果，并针对计算烹饪应用案例展示了质量结果。

    Apr, 2018

  • 文本到图像检索的跨模态一致性

    本文提出了一种跨模态相依的一致性模型，用于提高现有联合理解模型的性能，结果展示出使用相依性理念的模型能够更好地检索与目标文本相关的图像，这对不同模态间的沟通及在捕获文本与图像常识推理中相依性关系的角色具有重要的研究意义。

    Sep, 2021

  • 理解语言空间中社交媒体的跨模态话语

    本文研究了文本和图像相结合在社交媒体中的多媒体传播方式，提出了交叉模态话语的新概念，通过五个标签来表述图像和文本之间的关联，验证了通过多头注意力与字幕的多媒体编码器能够达到最先进的结果。

    Feb, 2023

  • 多张图片，多个句子文档中的多模式链接的无监督发现

    通过探索图像和文本之间关联的算法，并基于文档中图像与文本集合是否同时出现的结构化训练目标，在不依赖于显式的多模态注释的情况下发现图像和句子之间的关系。

    Apr, 2019

  • 图像字幕视觉语义关联数据集

    本论文介绍了一种文本视觉背景数据集，用于改进现代图像描述系统，通过融合与场景相关的文本信息，提高图像描述的准确性及语义关联性。

    Jan, 2023

  • 基于照片的自然语言推理语料库

    本文介绍了一个新数据集，包含 107292 个英语句子与网络照片的组合，任务是确定自然语言字幕是否与一对照片相符。数据要求包括数量、比较和关系等组成性联合推理的定性分析以及强大的视觉推理方法的评估。

    Nov, 2018

  • 人类和计算机话语结构的新型语料库

    本文提供了一个包含 445 篇人工和计算机生成的文档的语料库，其中包含约 27,000 个从句，注释了语义从句类型和相关关系，以便对人工和自然语篇模式进行微妙的比较。它涵盖了正式和非正式的话语，包括使用 Fine-tuned GPT-2 和 GPT-3 (分别为 Zellers 等人 2019 年和 Brown 等人 2020 年发表的技术) 生成的文档。通过提供初步的证据，我们展示了该语料库对于对生成文本进行详细的话语分析的有用性：较少数量、更短和更不连贯的从句关系与计算机生成的叙述和论述的较低感知质量相关联。

    Nov, 2021

  • CHEF: 跨模态层次嵌入用于食品领域检索

    本文提出了一种新颖的跨模态学习框架来自动发现食谱中文本和图像的实体及其相应的重要性，并能在没有明确监督的情况下识别出食谱描述中的主要成分和烹饪动作，为跨模态检索和食谱适应任务提供更有意义的特征表示。

    Feb, 2021