Sep, 2023

FaceAtt：利用面部特征增强人像图像的图像字幕生成

PDF
TL;DR自动图像标题生成是一个关键的研究领域，通过 FaceAtt 模型提出了一种强调准确描绘图像中面部属性的新方法，自动检测和描述多种属性，并使用深度学习技术评估了模型的性能和指标。此外，研究还涉及到自动标题生成中的伦理考虑，为未来改进属性关注的标题生成技术、提高语言连贯性、解决偏见问题和满足多样化用户需求提供了基础。
automated image caption generationfaceatt modelattribute-focused image captioningdeep learning techniquesethical considerations
发现论文，激发创造
  • 一种由面部属性预测增强的深度人脸识别网络

    该研究提出了一种新的深度学习框架，预测面部属性并将其作为软模态来提高面部识别性能，并且在预测属性和面部特征中融合以改进面部识别性能。实验结果表明，该模型在面部识别和属性预测性能方面都有很好的表现，特别是在身份面部属性预测方面。

    Apr, 2018

  • 使用现成 CNN 特征进行人脸属性预测

    本论文尝试通过利用深度学习的卷积神经网络 (CNN) 的特征表示技术，并结合传统的人脸定位技术来构建人脸描述子，并使用它进行人脸属性预测，实验结果表明，该方法与目前最先进的方法完全可以匹敌，同时也提出了一个重要的问题：如何利用 CNN 特征表示技术解决一些新颖的问题。

    Feb, 2016

  • 提升图像描述的能力通过属性

    本文提出了 LSTM-A 架构，将属性集成到 CNNs 和 RNNs 的图片字幕框架中，并通过端到端的方式对它们进行训练。在 COCO 图片字幕数据集上进行了大量实验，该框架相比业内先进的深层模型获得了更好的结果，其中 METEOR/CIDEr-D 在 Karpathy＆Fei-Fei（2015）的公开数据集上达到了 25.2％/ 98.6％，并在 COCO 字幕排行榜上获得了至今的最佳表现。

    Nov, 2016

  • 利用深度学习预测第一印象

    本文介绍了一种基于卷积神经网络的回归框架，可用于训练社交属性分配的预测模型，该模型可以对人群的行为进行量化，应用于描述人脸的视觉属性和情感计算领域。

    Oct, 2016

  • 利用语义分割改善面部属性预测

    本文提出了一种利用语义分割来优化面部属性预测的方法，通过这种方法，我们不仅能够识别人脸属性，而且能够定位这些属性，获得了比以前更好的结果。

    Apr, 2017

  • 图像美学属性评估

    本文介绍了一种通过文本对图像进行审美属性评估的方法，提出了一种新的图像审美评估公式，即预测每个属性的审美特征标题以及每个属性的审美得分，并介绍了一种新的数据集 DPC-Captions。我们使用特殊设计的 AMAN 模型来预测 5 个审美属性的标题和每个属性的数值评估，证明了我们的方法优于传统的 CNN-LSTM 模型和现代的 SCA-CNN 模型。

    Jul, 2019

  • 利用大型语言模型将视觉数据融合到丰富的图像标题中的 FuseCap

    本文提出了一种用于创建图像标题的方法，通过采用额外的视觉信息，包括对象检测器、识别器等来丰富标题，经大型语言模型融合，生成全面的图像描述。实验证明，该方法有效，所提供的数据集显着提高了图像 - 文本检索。

    May, 2023

  • 使用脸部标记信息增强的卷积神经网络从面部图像预测个人特征

    本文提出了使用深度卷积神经网络结合面部标志信息来估计面部属性的新方法，并在新的面部属性数据集上进行了实证分析，结果显示该方法相对于基线方法在多个面部属性上均有显著提升。

    May, 2016

  • 图像字幕生成中的人脸插入：带有注意力引导合并的图像字幕生成

    介绍了 AstroCaptions 数据集，该数据集用于图像描述任务，包含了许多公众人物图像，同时使用可解释的人工智能工具和视觉语言模型的定位能力，提出了一种将识别出的人物姓名插入标题的新方法，取得了显著的描述质量提升和减少幻觉的潜力。

    Mar, 2024

  • CATFace: 基于跨属性引导变压器和自注意力蒸馏的低质量人脸识别

    通过应用软生物特征属性和自我注意力蒸馏方法，我们提出了一种新颖的多分支神经网络，用于提高低质量图像下面部识别的性能，实验证明我们的方法优于最先进的研究成果。

    Jan, 2024