CVPRNov, 2018

从基本照片编辑到 GAN：改变图像的记忆性

PDF
TL;DR本研究使用 GAN 和传统图像处理方法，研究图像编辑对记忆力的影响；使用带标签的数据进行深度学习使 GAN 能够控制图像的记忆能力；同时分析传统的照片编辑工具（如 Photoshop，Instagram 等）对记忆力的影响，并通过最近的记忆力预测研究方法进行统计分析。
memorabilityimage editingganvisual featuresmemorability prediction
发现论文，激发创造
  • GANalyze: 探索认知图像属性的视觉定义

    本文介绍了一种使用生成敌对网络 (GANs) 研究记忆性、美学和情感价值等认知属性的框架。我们采用 GANs 可以生成具有视觉属性微观差异的自然图像的流形。通过沿着增加记忆性的方向导航这个流形，我们可以看到特定生成的图像变得更加有记忆性的样子，从而揭示记忆性的基本图像属性。在行为实验中，我们验证了该方法确实发现了影响人类记忆表现的图像操作，并进一步证明了相同的框架可用于分析图像美学和情感价值。

    Jun, 2019

  • 具有生成图像先验的语义照片处理

    本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

    May, 2020

  • 使用贝叶斯风格生成增强感知属性

    本文基于深度学习模型，提出了一个新的深度学习框架进行图像合成，该框架利用了最新的深度风格迁移模型和生成对抗网络，以修改特定高层次属性的方式改变图像样式，该方法在增加图像记忆和生成恐怖图片使用集中体现出其优越性。

    Dec, 2018

  • 机器更容易记忆哪些图像？

    本文研究了计算机视觉中图像记忆度的量化和预测问题，提出了机器记忆度和复杂度的概念，并分析了机器和人类在图像记忆方面的不同表现和机器记忆的影响因素。

    Nov, 2022

  • 展示与记忆：学习令视频难忘的因素

    该研究开发了一个视频可记忆性预测模型，并进行了视频子镜头可记忆性预测实验，结果表明该方法比现有的可记忆性方法更有效。

    Jul, 2017

  • 记忆先于生成：使用记忆网络无监督地学习 GAN

    提出了一种名为 MemoryGAN 的全新 GAN 模型，该模型使用可学习的记忆网络来解决无监督 GAN 训练过程中存在的结构不连续和过度遗忘问题，并在多个数据集上进行了评估，证明其能够产生高度逼真的图像，实现了 CIFAR10 数据集上无监督 GAN 模型的最先进 Inception 得分。

    Mar, 2018

  • 通过潜空间导航的可控 GAN 用于图像编辑

    本研究提出了一种新的控制图像属性的编辑方法，通过学习多种属性变换和应用内容损失和对抗损失来实现单一和多属性的编辑，并保留图像身份和真实感。此外，提出了客观评价标准以衡量模型性能，结果表明该模型在目标图像操作方面达到了最先进水平。

    Feb, 2021

  • 广告的长期记忆性

    广告的可记忆性对品牌认可非常重要，快速移动场景的视频广告比缓慢场景的广告更容易被记住，使用广告拦截器的人记得的广告数量较少。我们提出了一个新模型 Sharingan，通过利用语言模型和视觉编码器的知识，能够预测内容的可记忆性，并在不同数据集上实现了最先进的效果。

    Sep, 2023

  • 记忆重播生成对抗网络：学习生成新类别图像而不遗忘

    本文针对生成模型中的遗忘问题，提出了一种称作 Memory Replay GANs (MeRGANs) 的有条件生成对抗网络框架，通过集成记忆重现生成器来缓解前几类的遗忘，在 MNIST、SVHN 和 LSUN 数据集上的实验结果表明，该记忆重现方法能够生成较竞争力的图像，同时显著减轻遗忘的前几类。

    Sep, 2018

  • 眼睛与人工智能：视频记忆中的人眼注视与模型关注

    通过使用基于 Transformer 的模型结合了时空注意机制，我们研究了影响视频记忆性的语义和时间注意机制，并对一个大型自然主义视频数据集上的视频记忆性预测任务表现进行了比较。结果显示模型的注意力与人类凝视的密度图表现出相似的模式，并且模型和人类对于物体类别的关注度与记忆性得分有关。此外，该模型模仿了人类在时间上的注意力，对于初始帧更加重视。

    Nov, 2023