Feb, 2024

如何理解 “支持”？一种隐式增强的因果推断方法用于弱监督短语定位

PDF
TL;DR利用弱监督短语定位和隐性增强的因果推断方法解决了存在于细粒度语义与多模态深度语义理解任务中的挑战，并对隐性增强数据集进行了评估，结果显示隐性增强的方法在隐性数据集上明显优于现有的基准模型，尤其在多模态深度语义理解方向上，相比先进的多模态 LLMs 有着明显的优势。
发现论文，激发创造
  • 弱监督词组定位的对比学习

    本文介绍了一种通过优化单词 - 区域关注力最大化互信息的方法来学习短语定位，该方法通过利用经过语言模型引导的单词替换来构建有效的负面标题进行训练，进而实现对 CO-Captions 数据集的短语 grounding，使精度提高了 5.7%。

    Jun, 2020

  • 弱监督视觉引导的关系感知实例细化

    本研究提出了一种新的上下文感知弱监督学习方法，它将粗到细的物体细化和实体关系建模结合到一个两阶段深度网络中，以更准确地表述和匹配物体，并通过自我学习回归和关系分析来有效训练必要的分类方法。在 Flickr30K 和 ReferItGame 数据集上的广泛实验表明，本文所提出的弱强化框架比以前的方法具有更好的算法性能，Flickr30K 实体和 ReferItGame 数据集上的 Top-1 准确度分别达到 59.27％和 37.68％。

    Mar, 2021

  • 自上而下视角的基于图像实体的图像字幕生成

    本研究提出了一种一阶段的弱监督图像标题生成方法，通过注入关系模块来鼓励多标签分类中的关系理解，从而提高了关注性能和字幕生成准确性，并在两个具有挑战性的数据集上验证了该方法的有效性。

    Jun, 2023

  • Align2Ground: 基于图像 - 字幕对准的弱监督短语对齐

    使用图像字幕对弱监督进行自由文本短语连接的问题展开研究，提出了一种新颖的端到端模型，并使用字幕到图像检索作为 “下游” 任务来指导短语定位的过程。

    Mar, 2019

  • 考虑 Wasserstein 图匹配的半监督图像描述

    我们提出了一种考虑 Wasserstein 图匹配的半监督图像描述方法，该方法通过采用原始图像输入来进行生成的句子的监督学习，利用场景图作为中间信息来约束生成的句子，同时结合交叉模态伪监督和结构不变度量，以更有效地使用未描述的图像并学习更合理的映射函数。

    Mar, 2024

  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017

  • 利用质量加权的弱监督自动标注共同提高语言理解和生成能力

    本研究提出了一种半监督框架，利用 GPT-2 模型自动构建了大规模数据，并根据估计的标签质量调整模型参数更新，实现 NLG 和 NLU 模型的联合训练，证明在数据稀缺场景下，该弱监督培训范式是一种有效的方法，在 E2E 和天气基准测试上优于基准系统。

    Feb, 2021

  • EtC：弱监督视频定位的时序边界扩展再澄清方法（Multimodal 大型语言模型）

    通过扩展初始伪边界并精炼扩展边界，结合多模态大型语言模型、互相学习和定制的对比学习目标，我们的方法在两个具有挑战性的 WSVG 数据集上表现出优越性。

    Dec, 2023

  • 多粒度语义感知图模型降低情感 - 原因对提取中的位置偏差

    该文提出了一种新的多粒度语义感知图模型 (MGSAG)，可以提取文档中的情感和原因，通过探索子句和从文档中提取的关键词之间的语义依赖关系，获取增强的子句表示，并建立子句图来建模粗粒度的语义关系。实验结果表明，MGSAG 在提取情绪和原因的任务上优于现有的 ECPE 模型，特别是在面对位置不敏感数据的情况下效果更好。

    May, 2022

  • 弱监督的时间邻接网络 —— 针对语言基础理解

    本文提出了一种基于弱监督学习的弱时间语言接地算法，该算法通过利用时间相邻网络在多个实例学习 (MIL) 范式中学习跨模式语义对齐，同时引入互补分支和自我区分损失函数以增强语义判别能力。实验结果表明该方法非常有效。

    Jun, 2021