AAAIMar, 2021

利用文档级结构信息进行图像 - 句子匹配的无监督采样方法

PDF
TL;DR本文提出了一种基于 Transformer 模型的采样策略，用于减轻采样偏差以及识别文档内部的复杂模式，并实验验证了模型的有效性，从而实现了无监督图像 - 句子匹配。
unsupervised image-sentence matchingsampling biastransformer based modelintra-document samplesmultimodal representations
发现论文，激发创造
  • 多张图片，多个句子文档中的多模式链接的无监督发现

    通过探索图像和文本之间关联的算法，并基于文档中图像与文本集合是否同时出现的结构化训练目标，在不依赖于显式的多模态注释的情况下发现图像和句子之间的关系。

    Apr, 2019

  • 无监督抽取式摘要中句子相似度估计的改进

    研究了两种新策略以提高自动抽取摘要的句子相似度估计，其中对比学习优化了文本级目标，同时使用互相学习增强句子相似度估计与句子重要性排名之间的关系。实验结果显示了策略的有效性。

    Feb, 2023

  • 针对样本特定的去偏方法以获得更优秀的图文模型

    本文介绍了一种基于样本特定偏差校正的自监督学习方法，用于改善不均匀假负面样本导致的图像文本数据的质量问题。经过实验证明，此方法在包括医学应用在内的多种数据集上都取得了比传统方法更好的效果。

    Apr, 2023

  • 使用句子转换器进行零样本文本匹配的自动审计

    本文探讨了使用基于 transformer 的 Sentence-Bert 模型进行无监督文本匹配的效率，结果表明该模型对于金融领域内外的文本均有很好的鲁棒性。

    Oct, 2022

  • SueNes：一种弱监督方法通过负采样评估单文档摘要

    本文提出了一种无需参考摘要的弱监督自动摘要评估方法，通过将现有摘要数据集中的大量数据与损坏的参考摘要进行配对来训练，实现了横向领域测试，证明了该方法在语言质量评估方面具有很大优势。

    May, 2020

  • 使用多模态全卷积神经网络学习从文档中提取语义结构

    该研究提出了一种全卷积网络，通过多模态方法从文档图像中提取语义结构，并使用像素级分割方式考虑文档的语义结构提取。该方法不仅考虑文本的视觉外观，还考虑文本的内容，通过有效的合成文档生成数据进行预训练和半监督学习方法滴定优化网络架构，施加于真实文档上，此方法极大地提高了分割的性能表现。

    Jun, 2017

  • 单幅图像对的结构类比

    本文介绍利用深度神经网络进行无监督图像转换的方法，深入探讨了只使用单个图像对（A，B）生成具有结构对齐的图像的方法，并且还能适用于其他有条件的生成任务，如引导图像合成，风格和纹理转移，文本翻译以及视频翻译。

    Apr, 2020

  • 面向相关文档中未监督识别语义差异的研究

    研究了三种无监督的方法以实现识别语义差异的任务，并发现基于词对齐和句子级对比学习的方法与金标签的相关性较高，但所有无监督方法仍有很大的改进空间。

    May, 2023

  • 用于字到句的视觉语义相似度在标题生成的应用：得到的经验教训

    本文提出一种改进图像 - 字幕生成系统的方法，通过从视觉上下文的角度修订语言生成输出的 beam search，采取视觉语义量化概念，在单词和句子级别上匹配与图像相关的信息来选择最相关的输出作为字幕。该方法可作为后处理方法应用于任何字幕系统中。

    Sep, 2022

  • 学习图像和句子匹配的语义概念和顺序

    该研究提出了一种基于学习语义概念并按照正确语义顺序组织它们来提高图像表示的语义增强图像和句子匹配模型，利用多区域多标签 CNN 预测图像语义概念并使用上下文门控句子生成方案进行语义顺序学习，与传统 LSTM 结合执行图像和句子匹配和生成。这项工作在两个公共基准数据集上实现了最先进的结果。

    Dec, 2017