ICCVAug, 2019

Seq-SG2SL: 通过序列到序列学习从场景图推断语义布局

PDF
TL;DR本文介绍了 Seq-SG2SL 的框架，使用两种语言的序列代理，通过 Transfomer-based seq-to-seq 模型将情景图分解成语义片段（SF），然后将其转换为砖块操作代码段（BACS）以创建语义布局。该模型被称为 Seq-SG2SL，可以预测语义布局，从而在 Visual Genome 数据集上显示其优越性。
semantic layoutscene graphseq-to-seq learningtransformervisual genome
发现论文，激发创造
  • 视觉指导下的稀疏图到序列学习，用于生成长文本序列

    本文通过考虑图像内容的视觉信息生成长文本序列的问题，提出了 SGST 模型，它使用 Transformer 架构来解决图像段落到自然语言序列的问题，可以直接编码图层级语义，结果在图像段落数据集上相对于之前的最新成果提高了 13.3% 的 CIDEr 评估指标。

    Jul, 2020

  • 序列到序列学习作为 Beam-Search 优化

    该研究介绍了一种基于全局序列评分学习的 Sequence-to-Sequence (seq2seq) 模型和波束搜索训练方案，通过避免局部训练的传统偏差问题，统一训练损失和测试时间使用，并保留 seq2seq 的有效训练方法。在单词排序、解析和机器翻译三个不同的序列到序列任务中，该系统优于基于注意力的 seq2seq 系统高度优化的系统和其他基准线。

    Jun, 2016

  • 学习适当组合句法和语义表示以实现组合泛化

    该研究提出了 COMPSITION 模型，它是 Seq2Seq 模型的一个扩展，旨在通过引入一个复合层来适当地学习不同编码器层的表示，以生成传递到不同解码器层的不同键和值，从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。

    May, 2023

  • LAGr: 标签对齐图提升语义解析的系统化泛化能力

    本文提出 LAGr 模型，通过预测多层输入对齐图的节点和边标签，达到以图形而不是序列的形式直接生成意义表征，从而取得较 seq2seq 模型更好的系统化概括效果。

    May, 2022

  • 元序列转序列学习实现的组成泛化

    本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络，在此方法中，模型通过一系列的 seq2seq 问题进行训练，从而获得解决新 seq2seq 问题所需的组合技能，进而解决了组合学习的一些问题。

    Jun, 2019

  • 从像素到图形：利用视觉语言模型进行开放式场景图生成

    基于序列生成的新型开放词汇的场景图生成框架，通过使用视觉语言预训练模型和显式关系建模知识，实现了优质性能的开放词汇感知场景图生成和增强下游视觉语言任务的目的。

    Apr, 2024

  • S$^2$GSL：基于分段到句法增强图结构学习的方面情感分析

    提出了一个新的方法 S$^2$GSL，在 Aspect based Sentiment Analysis (ABSA) 中结合了段落感知的语义图学习和基于语法的潜在图学习，以提高图结构学习的准确性和效果。

    Jun, 2024

  • 知识扁平化：一种 Seq2Seq 生成框架用于不同知识图谱补全

    该论文提出了 KG-S2S，这是一个 Seq2Seq 生成框架，可以通过将 KG 事实的表示统一到 “平坦” 的文本中来应对不同的可言述的图形结构，实验表明在五个基准测试中，KG-S2S 胜过了许多竞争性的基线，从而设置了新的最先进性能。

    Sep, 2022

  • SG-Adapter：使用场景图引导增强文本到图像生成

    通过引入场景图适配器（SG-Adapter）来纠正原始文本嵌入中的不准确性，使生成的图像与复杂情境中的多个对象和关系的人类预期保持一致。

    May, 2024

  • 原型不可知场景布局的场景识别

    本文提出了一种无原型构建的场景布局方法，可以灵活地捕捉场景图像中的各种空间特征，并通过图卷积将两种拓扑结构（在空间和语义相似性维度中形成的）纳入图像表示中，最终达到了在 MIT67 和 SUN397 数据集上取得最先进结果，同时也证明了该方法的良好泛化性和竞争性能。

    Sep, 2019