自监督摄影图像布局表示学习

Mar, 2024

Self-supervised Photographic Image Layout Representation Learning

Zhaoran Zhao, Peng Lu, Xujun Peng, Wenhao Guo

TL;DR研究通过定义基本布局元素，将图像布局映射到异质图结构，引入自我监督学习和自定义损失函数，建立在这个基础上发展了一个能够高效地压缩图像布局的自动编码网络架构，并介绍了一个全面评估布局表示学习方法的基准数据集，实验证明该方法在摄影图像布局表示学习领域具有卓越的性能。

Abstract

In the domain of image layout representation learning, the critical process of translating image layouts into succinct vector forms is increasingly significant across diverse applications, such as image retrieval, manipulation, and generation. Most approaches in this area heavily rely

image layout representation learning layout primitives heterogeneous graph structure self-supervised learning photographic image layout representation

发现论文，激发创造

基于版面的图像生成

Layout2Im 是一种基于布局的图像生成方法，将物体表示分解为指定和不确定部分，并使用卷积 LSTM 编码并解码整个布局，以生成准确且多样化的图像，提高了最佳 Inception 分数 24.66％至 28.57％。

Nov, 2018

递归自编码器用于文档布局生成

本文提出了一种名为 READ 的新框架，利用递归自动编码器生成大量和多样的文档 2D 布局，其中采用了一种递归的方法来提取文档的结构分解，并利用标注边界框的文档数据集对此进行了学习，从而获得了结构表示形式，并将其映射到高斯空间，从而生成新的文本布局，同时，还引入了一种组合度量来测量文档布局之间的结构相似性，并证明了所生成文档布局的高可变性和实际性，在文本检测任务中证明了所生成布局的作用。

Sep, 2019

走向无监督表示学习：学习、评估和传递视觉表示

无监督表示学习、卷积自组织神经网络、评估协议、表示传输、图像到图像转换

Nov, 2023

像素精准手写文档布局分析的高效少样本学习

本文提出了一种高效的 few-shot 学习框架，通过在公开数据集 DIVA-HisDB 上的试验，表明该框架的性能可与当前最先进的完全监督方法媲美，有效地解决了在古代手写文献分析中像素精确的文本标注是一项耗时的过程，而这种信息在现实世界中很少可用的问题。

Oct, 2022

LayoutTransformer：利用自注意力生成和完成版面

本论文提出了一种新的框架 LayoutTransformer，可以通过自注意力学习布局元素之间的上下文关系，并在给定领域中生成新的布局，并能够在多个不同数据领域中表现出色。

Jun, 2020

高分辨率稀疏注意力下的语义布局操作

该研究提出了一种高分辨率稀疏注意力模块和一个生成器架构，可以在语义标签映射的基础上，有效地实现将输入图像的视觉细节转移至新布局。实验证明，该方法在图像修补和布局操作方面的性能得到了大幅提高。

Dec, 2020

SE-VGAE：用于可解释的建筑布局设计图生成的无监督分解表示学习

我们介绍了一个无监督的分离表示学习框架 (SE-VGAE)，旨在生成以属性连接的多图形式的建筑布局，同时强调表示的分离性，通过优化数据集和实验，对探索基于图形数据的建筑设计表示空间进行了深入研究，该研究将无监督的分离表示学习应用于建筑布局图生成任务中。

Jun, 2024

原型不可知场景布局的场景识别

本文提出了一种无原型构建的场景布局方法，可以灵活地捕捉场景图像中的各种空间特征，并通过图卷积将两种拓扑结构（在空间和语义相似性维度中形成的）纳入图像表示中，最终达到了在 MIT67 和 SUN397 数据集上取得最先进结果，同时也证明了该方法的良好泛化性和竞争性能。

Sep, 2019

显式表示语法提升预测意外情境下的句子布局

通过自然语言句子中的识别视觉实体和将其按照二维空间布局排列，需要对语言和空间进行构造性理解。本研究通过对比显示，如果句子提到了在训练期间看到的类似实体关系，则可以从隐式或显式编码句子句法的语言表示中预测布局。为了测试构造性理解，我们收集了一组语法正确的测试句子和布局，它们描述了在训练期间很可能没有见过的实体和关系的组合。结果显示，在这个测试集上的表现大幅下降，表明当前模型依赖于训练数据中的相关性，并且在理解输入句子的结构方面存在困难。我们提出了一种新颖的结构损失函数，更好地强制执行输入句子的句法结构，并在以文本为条件的 2D 空间布局预测任务中取得了显著的性能提升。该损失函数有潜力在其他生成任务中使用，其中基础的调节方式是树状结构。代码、训练模型和 USCOCO 评估集将通过 GitHub 提供。

Jan, 2024

图像感知布局生成的像素级鉴别器无监督领域自适应

本文关注利用基于图像内容的条件 GAN 模型生成具有图片感知性的广告海报平面设计，在现有数据集的基础上，将无监督领域自适应技术与深度学习相结合，设计了一种新的像素级鉴别器 (PDA-GAN) 来生成具有高质量图像感知的广告海报平面设计。实验结果显示，PDA-GAN 可以实现最先进的性能，并为时尚的广告海报生成高质量的图像感知平面设计。

Mar, 2023