Jan, 2022

交互式注意力 AI：将低光照片翻译为夜晚场景理解的字幕，用于妇女安全

PDF
TL;DR本文介绍了一种基于深度学习的图像字幕生成模型，该模型能够将夜晚场景转化为文字描述，为视障女性的安全开辟了新的 AI 应用空间，同时基于注意力机制的交互式图像字幕生成模型也被提出，能够通过用户提供的关注点，使 AI 关注任意人物并为其生成描述，该方法可以用于低照度环境下的图像字幕生成及为提高夜晚中的女性安全作出贡献。
deep learningimage captioninglow light image enhancementinteractive image captioningwomen safety
发现论文，激发创造
  • 使用视觉注意力的神经图像字幕生成

    该论文介绍了一种基于注意力机制的模型，通过机器翻译和物体检测实现图像内容的自动描述，通过最大化变分下界确定性训练该模型，并展示了该模型在生成输出序列时能够自动学习聚焦于显著物体。三个基准数据集上的性能表现也证明了该模型的有效性。

    Feb, 2015

  • 语义关注下的图像字幕生成

    本文提出了一种融合上下文语境的自动图像描述算法，通过自下而上的计算和语义关注的上下文交互作用，成功在 Microsoft COCO 和 Flickr30K 两个公开基准测试中取得了明显的优于现有算法的结果。

    Mar, 2016

  • 适用于视力受损人士的质量不敏感图像字幕技术

    本文提出了一种质量不受限制的框架，通过数据增强、双网络架构和置信度校准，来提高视障人士图像字幕模型的性能和稳健性，并在与 Royal National Institute of Blind People 合作的辅助生活应用中实现了改进的模型。

    Apr, 2023

  • 基于注意力机制的低光图像增强网络

    本文提出了一种基于关注机制的神经网络方法，通过通道关注和空间关注模块抑制色差和噪点，以及使用倒置洗牌池化层选择有用信息，实现从原始传感器数据生成高质量的低光图像增强，表现优异，特别是在低光条件下存在严重噪声时。

    May, 2020

  • 通过视觉哨兵实现自适应关注的图像字幕

    本文提出了一种新的自适应注意力模型，具有视觉哨兵，在每个时间步骤，模型决定是关注图像还是关注视觉哨兵，通过这种方式针对性地提取有意义的信息以生成图像字幕，实验证明我们的方法在 COCO 图像字幕 2015 年挑战数据集和 Flickr30K 上的效果优越并创造了新的最佳表现。

    Dec, 2016

  • 使用深度神经网络架构进行图像字幕生成

    该文讨论了图像字幕生成的各种模型，描述了对象识别和机器翻译的进展以及如何实现该模型，最后使用标准评估矩阵评估了该模型的性能。

    Jan, 2018

  • 交互式机器学习：图像字幕生成

    本文提出了一种交互式学习的图像标题生成模型，该模型使用数据增强方法来扩大人类反馈所提供的有效学习信息，并智能地将其集成到模型中，本文重点讨论了其反馈收集、数据增强和模型更新三个关键组件的实现方法。

    Feb, 2022

  • 多模态图像字幕生成（面向视觉障碍人士）

    本研究提出用 AoANet 和指针 - 生成机制来改进图像字幕视频，实现文本检测和复制，提高图像字幕性能从而更好地帮助视力受损人士理解环境。

    May, 2021

  • 黑暗中的文本：极低光照文本图像增强

    提出了一种新的编码器 - 解码器框架，使用边缘感知的注意力模块来增强极低光条件下的文本图像，通过使用文本检测和边缘重建损失强调低层次的文本特征，实现了成功的文本提取和极低光图像增强。

    Apr, 2024

  • 基于文本引导的图像字幕注意力模型

    本研究提出了一种基于文本引导注意力模型的图像字幕生成方法，其能够通过联合图片及相应说明文本的训练数据来实现视觉关注，有效地区分图像中的细小或混淆对象，进而在 MS-COCO 图像字幕生成基准测试中获得最佳性能。

    Dec, 2016