Apr, 2024

基于 CNN 编码器 - 解码器框架的压缩图像字幕生成

PDF
TL;DR我们的项目旨在通过开发结合卷积神经网络（CNN）和编码 - 解码模型的自动图像字幕架构来解决图像字幕的挑战。我们还进行了性能比较，研究了多种预训练 CNN 模型的性能变化，并探索了频率正则化技术在压缩 “AlexNet” 和 “EfficientNetB0” 模型方面的整合，旨在在更节省资源的同时保持模型的有效性。
image processingimage captioningvisual informationcnn modelencoder-decoder model
发现论文，激发创造
  • CNN+CNN：用于图像字幕生成的卷积解码器

    本文在图像字幕生成方面，提出了一种仅利用卷积神经网络生成字幕的框架，通过并行计算，训练速度比基于 LSTM 的模型快 3 倍，同时在 MSCOCO 图像字幕数据集上获得了比 LSTM 更高的评估得分。

    May, 2018

  • 使用深度神经网络架构进行图像字幕生成

    该文讨论了图像字幕生成的各种模型，描述了对象识别和机器翻译的进展以及如何实现该模型，最后使用标准评估矩阵评估了该模型的性能。

    Jan, 2018

  • 端到端视频字幕生成

    本文提出了采用端到端训练的方法来实现视频描述生成，并在微软研究视频描述数据集 (MSVD) 和微软视频到文本数据集 (MSR-VTT) 上取得了最新的最优表现。

    Apr, 2019

  • 卷积图像描述

    本文提出了一种卷积图像字幕生成技术，并在 MSCOCO 数据集上展示了其与基准模型相媲美的性能，同时具有更快的训练时间和更少的参数数量。作者还对其模型的优点进行了详细分析，提出了卷积语言生成方法的有力证据。

    Nov, 2017

  • 预训练的 CNN 与基于 GRU 的注意力机制在图像标题生成中的比较研究

    使用深度神经网络和 GRU 注意机制对图像进行描述生成的研究提出了一种深度神经网络框架，通过多个预训练的卷积神经网络作为编码器从图像中提取特征，并使用 GRU 语言模型作为解码器生成描述性句子。通过将 Bahdanau 注意模型与 GRU 解码器集成，我们的方法提高了性能，并在 MSCOCO 和 Flickr30k 数据集上展示出与最先进方法相比具有优势的分数。我们提出的框架可以弥合计算机视觉和自然语言之间的差距，并可以扩展到特定领域。

    Oct, 2023

  • 基于卷积神经网络的端到端压缩框架

    本文提出了基于卷积神经网络的图像压缩框架，其中包括用于压缩的紧凑型 CNN 和用于重构压缩图像的重构型 CNN，开发了一种统一的端到端学习算法以有效协同两种 CNN，并与现有的图像编码标准兼容。实验结果表明，所提出的压缩框架大大优于使用现有图像编码标准的多种压缩框架。

    Aug, 2017

  • 基于 GRU 注意机制的图像字幕生成的深度神经网络框架

    本研究旨在利用预先训练的卷积神经网络，结合注意力机制和循环神经网络，将图像特征与语言模型相结合，实现图像描述生成。实验结果与现有先进方法相比，具有竞争性的性能。

    Mar, 2022

  • 基于混合深度学习技术 (CNN+GRU) 的图像字幕算法

    本篇论文主要介绍了一种基于 CNN-GRU 编码器 - 解码器框架的图像描述生成模型，相较于常用的 CNN-LSTM 模型，该模型考虑了图片的语义信息和时间复杂度，且在时间复杂度和准确性上优于目前最先进的 LSTM-A5 模型。

    Jan, 2023

  • 图像字幕的循环融合网络

    本文提出了一种使用多个编码器的循环融合网络 (RFNet) 来处理图像字幕生成问题，RFNet 可以利用多个编码器的输出之间的相互作用，生成新的、紧凑而且信息丰富的表示，验证实验表明，RFNet 对于图像字幕生成问题是有效的，并且取得了最新的最好结果。

    Jul, 2018

  • 使用深度卷积网络的语义感知图像压缩

    应用深度学习的方法解决在损失图像和视频压缩中提高视觉质量的问题，通过训练一个特定的卷积神经网络，实现对图像语义的理解，并通过对每个对象训练特征的方式生成高质量的压缩图像。

    Dec, 2016