EMNLPOct, 2021

R$^3$Net: 基于关系嵌入的表示重建网络用于变化描述

PDF
TL;DR本文提出了一个基于关系嵌入的表示重建网络（R3Net）来明确区分真实变化和大量混乱和无关变化，并引入了外部语法骨架预测器（SSP）来增强变化定位和字幕生成之间的语义交互，实验结果表明，所提出的方法在两个公共数据集上达到了最先进的水平。
captioningviewpoint changerelation-embedded representation reconstruction networkchange localizationstate-of-the-art
发现论文，激发创造
  • R$^2$-Net：面向句子语义匹配的关系双重学习网络

    本研究提出了一种基于深度神经网络的 R2-Net 方法用于句子语义匹配问题，该方法利用 BERT 自动编码句子，设计了一个 CNN 编码器来捕获局部信息，并引入了一种自监督的关系分类任务来引导模型更好地提取关系信息，同时利用三元损失函数更好地区分类内和类间关系，实验证明该方法的优越性能。

    Dec, 2020

  • 自我监督的跨视图表示重建用于变化字幕

    本文提出了一种自监督的 SCORER（self-supervised cross-view representation reconstruction）网络来学习稳定的差异表示，以用于生成图像描述，同时利用交叉模态的逆向推理提高描述质量。实验证明该方法在四个数据集上取得了最先进的结果。

    Sep, 2023

  • 密集关系字幕生成：基于三元组网络的关系字幕生成

    通过引入 “关系字幕” 任务，使用多任务三流网络（MTTSNet）实现 POS 标签指导图像说明的正确顺序，从而提高图像理解能力，相应地，生成更多样化、更丰富的信息表达。

    Mar, 2019

  • 另一侧的发现：一种适应视角的匹配编码器用于变化字幕

    本文提出一种新颖的视觉编码器，以在 Change Captioning 任务中明确区分视点变化和语义变化，并进一步模拟人类的注意力偏好，通过一种新的强化学习过程直接微调注意力。实验结果表明，该方法在 Spot-the-Diff 和 CLEVR-Change 数据集中的表现优于现有方法。

    Sep, 2020

  • 多任务三元流网络实现密集关系图像字幕生成

    本篇研究提出了一种新的图像描述任务：密集关系字幕，该任务旨在生成多个字幕，涉及视觉场景中对象之间的关系信息。通过使用多任务三重流网络（MTTSNet）训练识别 POS（主客观谓宾分类）并生成字幕，同时使用明确的关系模块来改进它的表现。该模型在大型数据集和多个指标上经过了广泛的实验分析，能够生成更多样化、更丰富的字幕，并将其应用于整体图像字幕，场景图生成和检索任务。

    Oct, 2020

  • 基于循环关系记忆网络的无监督图像描述生成

    本文提出了一种基于记忆机制的无监督图像描述模型 —— 循环关系记忆网络 (R2M)，相较于 GAN 模型，该方法克服了句子生成中复杂和敏感的对抗学习，并且通过融合和循环两种记忆机制实现了从通用可视化概念到自然语言的翻译；我们在多项基准数据集上的实验证明，R2M 在参数少、计算效率高等各方面均优于目前最先进的技术。

    Jun, 2020

  • 级联修订网络用于新物体字幕生成

    本文介绍了一种使用层叠修订网络的图像标题生成方法，在未知物体出现时，利用外部知识（物体检测模型）进行修订，从而精确地描述图像。试验证明该方法在 MSCOCO 数据集和 ImageNet 数据集上效果显著。

    Aug, 2019

  • 远程感知变化字幕的注意力网络

    通过使用自然语言处理技术直接学习和分析遥感图像，本研究提出使用 Chg2Cap 网络处理双时相遥感图像变化标注任务，该网络包括 Siamese CNN 特征提取器、注重变化相关特征的自注意力编码器和 Transformer 生成器，并在两个典型遥感数据集上经过充分实验验证。

    Apr, 2023

  • 邻域对比变换器用于变化说明

    本文提出了一种基于邻域对比变换的改进模型，用于语义变化的描述。实验证明，该方法在三个场景不同的公共数据集上都实现了最先进的性能

    Mar, 2023

  • 关系变换网络

    该论文提出了一种新颖的 transformer 模型，用于场景图生成和关系预测，利用编码器 - 解码器架构和节点和边的丰富特征嵌入，通过自我注意力和交叉注意力模拟节点之间和边与节点之间的交互，并引入适用于处理解码器中的边的新的位置嵌入。

    Apr, 2020