数据传输细粒度场景图生成
CITrans 是一种逐步增强数据训练的插拔式方法,使用上下文限制的转移和高效迭代学习来解决不平衡的预测问题,达到了与最先进结果相媲美的效果,并且具有高效性。
Dec, 2023
提出了一种基于 Transformer 的端到端框架,利用结构化谓语生成器开发了一种新的实体感知的谓语表示方法,设计了图组装模块以推断适应性的进行双部分场景图形的构建,并在两个具有挑战性的基准测试中取得了最先进或可比的性能,并提高了推理效率。
Dec, 2021
本研究提出了一种基于平衡调整的场景图生成框架 ——BA-SGG,该框架通过语义平衡调整和平衡谓词学习两个组件分别对信息谓词和常见谓词之间的两种不平衡进行调整,有效提高场景图生成的性能。在 Visual Genome 数据集中,与变压器模型相比,我们的方法在三个子任务中的平均回收率分别提高了 14.3%,8.0%和 6.1%。
Aug, 2021
本文提出了一种 Text-Image 结合的场景图生成 (TISGG) 模型,采用联合特征学习模块和基于事实知识的精细调整模块来解决 SGG 模型中的长尾问题和无法识别的三元组问题,同时设计了平衡的学习策略。实验表明,在 Visual Genome 数据集上,TISGG 模型的预测性能相比一般的 SGG 模型提升了 11.7% 的 zero-shot recall。
Jun, 2023
为解决语义空间层面和样本训练层面的不平衡问题,在场景图生成中提出了一种名为 DB-SGG 的有效框架,通过语义去偏见和平衡谓词学习的组件集成,超过 Transformer 136.3%、119.5%和 122.6%的 mR@20,在三个场景图生成子任务上,应用于 SGG 模型,并在句子到图形检索和图像字幕的两个下游任务上得到验证。
Aug, 2023
通过使用双分图构建方法和终到终的框架,我们提出了一种新的场景图生成方法,有效地解决了组合属性所带来的挑战。实验证明,我们的方法在三个具有挑战性的基准测试中展现出了优秀的表现和高效率的推理能力,超过了现有方法的大部分,达到了最佳性能和时间复杂度。
Jan, 2024
通过引入包含三个学习场景和八个评估指标的综合连续场景图生成(CSEGG)数据集,研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况,以及连续目标检测如何增强对未知对象上已知关系的泛化性能。
Oct, 2023
本文提出了一种双粒度关系建模(Dual-granularity Relation Modeling)网络,利用粗粒度和细粒度的三元组线索来促进关系识别,并引入了双粒度知识传递(Dual-granularity Knowledge Transfer)策略来解决长尾问题,实验证明了该方法的有效性。
Jun, 2024
本文重点在于场景图生成(SGG)的训练数据集增强,通过引入 Feature Space Triplet Augmentation(FSTA)和 Soft Transfer 两个模块,成功提高了对具有挑战性的关系三元组的预测准确性,并在 Visual Genome 数据集中取得了较高的召回率。
Jun, 2024
通过构建不同分布环境来平衡主 - 客体对的不平衡,并采用课程学习策略平衡不同环境,我们提出了一种新颖的环境不变课程关系学习方法,可应用于现有的场景图生成方法,实验证明该方法实现了重要的改进。
Aug, 2023