CVPRMar, 2021

多实例字幕生成：从组织病理学教材和文章中学习表征

PDF
TL;DRARCH 是一个计算病理学（CP）多实例字幕数据集，包含对一系列染色、组织类型和病理的诊断和形态学描述，我们使用内在维度估计，显示 ARCH 是唯一可以与计算机视觉类比的 MS-COCO Captions 匹敌的 CP 数据集，我们推测在密集的图像字幕上预训练的编码器可以学习可迁移表示，支持这个假设的证据是 ARCH 表示比 ImageNet 功能或通过自我监督或多任务学习仅在病理图像上获得的表示更好地转移至各种病理亚任务，我们发布了我们的最佳模型，并邀请其他研究人员在其 CP 任务上进行测试。
computational pathologymultiple instance captioningdiagnosticmorphological descriptionsencoder pre-trained
发现论文，激发创造
  • 更好地利用图片描述提升图像字幕质量

    本文提出了一种新的图像字幕架构，通过构建以字幕为导向的视觉关系图以及利用弱监督多实例学习引入有益的归纳偏差来增强图像表示和字幕生成，实现多模态问题解决和优化。在 MSCOCO 数据集上进行广泛实验，证明该框架在多种评估指标下取得了业内最优表现。

    Jun, 2020

  • 新闻报道：通过图像和文本处理进行文章注释

    本文提出了一种新颖的深度学习方法，适用于解决文字描述与图片内容松散相关的情况。这种方法在多任务和迁移学习中表现良好，可以有效地检测图片来源、预测热度、插图以及文章地理位置等问题。同时，研究人员构建了一个新的语料库以供研究者使用。研究表明，该方法在新闻文章的领域中具有很强的实用性。

    Mar, 2016

  • 从图像标题中获取释义

    本文介绍了一种新的挖掘图像说明文字的方法， 构建并分析了相应数据集，证明了其作为解释的潜力，并通过算法确定了不同来源的特征地图，以识别来自不同来源的释义方式。

    Jan, 2023

  • 基于跨模态相似性的课程学习在图像描述中的应用

    该研究提出一种基于跨模态相似性的难度度量方法，用于图像字幕生成模型的训练，并在 COCO 和 Flickr30k 数据集上验证了其有效性，证明其在难样本和未见数据上表现出较高的泛化能力。

    Dec, 2022

  • 部分监督图像字幕生成

    通过有标签的图片和物体检测数据教授图像字幕模型学习新的视觉概念，通过有限状态自动机表示部分指定的序列数据并提出了一种新颖的算法，可以训练神经网络。在图像字幕任务中，我们取得了基于 COCO 数据集的最新物体字幕任务的最先进结果，并进一步表明，我们可以训练一个字幕模型来描述来自 Open Images 数据集的新的视觉概念，同时保持竞争性的 COCO 评估得分。

    Jun, 2018

  • 通过内容多样性探索实现准确的基于文本的图像描述

    本文提出了一种基于锚文本和锚中心图的多视角多解释图像说明生成方法，以提高生成说明的多样性和准确性。

    Apr, 2021

  • 2015 MSCOCO 图像标注挑战赛的经验教训

    本篇论文介绍一种基于深度递归结构的生成模型，其结合了近期在计算机视觉和机器翻译方面的进展，能够用于生成描述图像的自然语言句子，并经过多种数据集的实验，验证了模型的准确性和语言的流畅性。更重要的是，该模型是通过对图像描述的学习而得，在最近的 COCO 数据集比赛中获得了与 Microsoft Research 团队平分秋色的好成绩，并提供了一个基于 TensorFlow 开源的实现。

    Sep, 2016

  • 跨模态统一建模技术用于字幕生成

    该论文利用与计算模型相关的连贯性关系研究了图像字幕生成的信息需求和目标，通过特定的协议，获取 10,000 个图像与字幕的连贯性关系，将其用于学习推理的新任务，得到的结果显示，通过连贯性关系提高了生成的字幕的一致性和质量。

    May, 2020

  • 基于视觉语音的大规模表征学习

    这篇论文描述了一种可扩展的方法来自动生成不同的音频来为图像提供字幕，并且通过使用双编码器来对音频和图像进行编码，使用掩码边界软最大损失对这些模型进行微调，并在 Flickr8k 音频字幕语料库上实现了最新的结果。

    Sep, 2019

  • 神经图像字幕中的图像表示和新领域

    研究了自动生成字幕的最新进展是否主要是由于语言模型，实验发现，即使提供了质量较差的图像表示，最先进的神经字幕算法仍能产生高质量的字幕并对多个字幕数据集的适当性进行了实验。

    Aug, 2015