通过幻觉操作自然场景的属性

Aug, 2018

Manipulating Attributes of Natural Scenes via Hallucination

Levent Karacan, Zeynep Akata, Aykut Erdem, Erkut Erdem

TL;DR探索建立一个基于深度生成网络的两阶段框架，在保证场景语义细节整体的前提下，使用户能够直接操纵自然场景的高级属性，实现对场景的季节、天气和时间等属性的快速转换和图像幻化操作。

Abstract

In this study, we explore building a two-stage framework for enabling users to directly manipulate high-level attributes of a natural scene. The key to our approach is a deep generative network which can hallucinate images of a scene as if they were taken at a different season (e.g. du

image manipulation generative network seasonal attributes scene hallucination semantic preservation

发现论文，激发创造

使用贝叶斯风格生成增强感知属性

本文基于深度学习模型，提出了一个新的深度学习框架进行图像合成，该框架利用了最新的深度风格迁移模型和生成对抗网络，以修改特定高层次属性的方式改变图像样式，该方法在增加图像记忆和生成恐怖图片使用集中体现出其优越性。

Dec, 2018

从属性和语义布局学习生成室外场景图像

探讨利用语义布局和场景属性，通过条件生成对抗网络体系结构生成具有真实感的户外场景图像

Dec, 2016

深度级联双网络用于人脸超分辨率重建

该论文提出了一种新的框架来幻想姿态不受限、分辨率非常低的面部图像，并在统一的框架内交替优化两个互补的任务，即面部幻象和密集对应场估计，并提出一种新的门控深度双向神经网络以恢复不同层次的纹理细节，广泛的实验证明这种表述方式在低分辨率、有显著姿势和光照变化的野外低分辨率面孔上具有例外的幻象质量。

Jul, 2016

仿生场景生成

利用一个大规模的生成对抗网络，驱动人体姿态和场景之间微妙的关系，使得该网络能够产生出提供逼真姿态信息的虚拟场景。此网络在复杂度和大小方面均超过了 StyleGAN2，并能在各种场景下使用，例如生成带有人体姿态的场景，提升照片质量等。

Dec, 2021

野外虚构神经颜色空间

研究 Hallucinated Neural Radiance Fields（Ha-NeRF）的问题，提出一种端到端框架，包括外观幻化模块和反遮挡模块，能够处理旅游照片中存在的外观变化和复杂遮挡，从不同视角生成无遮挡的一致性视图。

Nov, 2021

具有生成图像先验的语义照片处理

本文通过使用由 GANs 学习得到的图像先验知识与个体图像的图像统计特征相结合，解决了对已有自然照片的高级属性进行操控的问题，提出了一种准确重构并合成新内容且能够保持输入图像特征的交互式系统，并在多个语义图像编辑任务上展示了方法的有效性。

May, 2020

Fader Networks：通过滑动的属性来操纵图像

介绍了一种新的编码器 - 解码器架构，用于在潜空间中直接区分图像的显著信息和属性值以训练图像的重构。通过使用连续属性值，用户可以修改图像，同时保持其自然并能通过滑块进行人脸表情和物体颜色的更改等。相比于先前的技术，我们的方式不仅训练方案更为简单也支持多种属性。

Jun, 2017

增量场景合成

本研究提出了一种增量式生成 2D 或 3D 场景的方法，该方法具有全局一致性和局部真实观测结合的特点，能够在先前的全局先验和幻觉的基础上本地生成未观测到的区域，并能够通过自主导航将生成的幻景应用于实际场景，从而解决 SLAM 问题。

Nov, 2018

基于显著性引导的样本幻觉小样学习

该研究使用显著性图提出了一种新颖的、低成本的数据增强方法，借此在数据稀缺情况下改进少样本学习的性能，并且在公共数据集上实现了最新的技术水平。

Apr, 2019

VALHALLA: 机器翻译的视觉幻觉

本文提出一种名为 VALHALLA 的视觉假象框架，利用自回归幻化 Transformer 从源句预测离散的视觉表示，与输入文本合并后输出目标翻译，通过标准反向传播训练数据。实验证明，该方法在多个数据集上均优于文本输入模型和最先进模型。

May, 2022