MMJan, 2019

语言模型转移学习到图像描述生成器：更好的模型不一定有更好的转移能力

PDF
TL;DR通过转移神经语言模型的递归神经网络和嵌入层到图像字幕生成器，实现了图像字幕生成的效果优化，证实使用转移学习的方法在同一字幕数据集上预训练图像字幕生成器时，使用转移参数生成的模型效果更好.
neural caption generatorconvolutional neural networkrecurrent neural networkembedding layertransfer learning
发现论文，激发创造
  • 图像标题生成器中的图像放置位置

    本文研究了用于字幕生成的循环神经网络语言模型中，将图像信息直接融入 RNN 或在 RNN 之后融合图像信息的两种不同的结构。研究表明，采用哪种结构对性能并没有太大影响，但融合结构可以使 RNN 的隐藏状态向量缩小多达四倍。因此，多模态集成应该推迟到随后的阶段进行。

    Mar, 2017

  • 基于卷积神经网络的图像字幕语言的实证研究

    本研究介绍了一种基于卷积神经网络的语言模型，适用于统计语言建模任务，在图像字幕生成中表现出竞争性能。相比以前的模型，它使用所有先前的单词进行训练，可以模拟历史单词的长期依赖性，这对图像字幕生成至关重要。该方法在 MS COCO 和 Flickr30K 两个数据集上进行了验证，实验结果显示，相较于基于循环神经网络的语言模型表现更佳，且具有竞争性的最先进技术。

    Dec, 2016

  • 图像字幕的语言模型：习惯和奏效

    该研究比较了不同的语言模型方法在图像字幕生成中的优缺点，并使用与众不同的语言模型方法，结合这些方法在 COCO 数据集上取得了新的记录性能。

    May, 2015

  • 卷积图像描述

    本文提出了一种卷积图像字幕生成技术，并在 MSCOCO 数据集上展示了其与基准模型相媲美的性能，同时具有更快的训练时间和更少的参数数量。作者还对其模型的优点进行了详细分析，提出了卷积语言生成方法的有力证据。

    Nov, 2017

  • 神经图像字幕中的图像表示和新领域

    研究了自动生成字幕的最新进展是否主要是由于语言模型，实验发现，即使提供了质量较差的图像表示，最先进的神经字幕算法仍能产生高质量的字幕并对多个字幕数据集的适当性进行了实验。

    Aug, 2015

  • CNN+CNN：用于图像字幕生成的卷积解码器

    本文在图像字幕生成方面，提出了一种仅利用卷积神经网络生成字幕的框架，通过并行计算，训练速度比基于 LSTM 的模型快 3 倍，同时在 MSCOCO 图像字幕数据集上获得了比 LSTM 更高的评估得分。

    May, 2018

  • 卷积神经网络进行文本分类的迁移学习实践指南

    本文探讨了深度神经网络和卷积神经网络在迁移学习中的运用，通过实验结果总结了成功迁移学习的要点和常见误区，并对超参数进行了探究。

    Jan, 2018

  • 学习用于图像字幕生成的递归视觉表示

    本研究探索了图像及其基于语句的描述之间的双向映射，提出了使用递归神经网络学习该映射的方法。我们使用相同的模型生成新的描述句子，并重新构建与图像相关的可视化特征，同时使用新颖的递归视觉记忆来辅助语句生成和可视化特征重构。在生成新的图像描述任务中，我们的自动生成字幕被人类喜欢的比例超过了 19.8％。和使用类似的视觉特征方法相比，我们的结果在图像和语句检索任务上达到了同等或更好的效果。

    Nov, 2014

  • 基于 GRU 注意机制的图像字幕生成的深度神经网络框架

    本研究旨在利用预先训练的卷积神经网络，结合注意力机制和循环神经网络，将图像特征与语言模型相结合，实现图像描述生成。实验结果与现有先进方法相比，具有竞争性的性能。

    Mar, 2022

  • 一个极为简单的方法，用于从预训练语言模型进行迁移学习

    论文提出了一种简单且有效的迁移学习方法，通过将任务特定的优化函数与辅助的预训练语言模型目标结合，在保留语言模型捕捉的语言规律的同时，能够进行足够的适应目标任务的训练。实验结果表明，该方法在多种具有挑战性的情感和文本分类任务中，超越了现有水平更为复杂的迁移学习方法。

    Feb, 2019