MMJun, 2021

解决零样本学习语义与视觉混淆问题

PDF
TL;DR本文提出了一种利用多模态信息搜索解缠表示空间的多模态三元组损失模型（MMTL），并且发展了一种名为 “解开类表示生成对抗网络（DCR-GAN）” 的新型模型，该模型能够在训练、特征合成和最终识别阶段利用解开表示，从而使得 DCR-GAN 能够拟合更真实的分布。实验证明，该模型在四个基准数据集上的性能优于现有的技术。
generative modelstriplet lossmultimodal informationdisentangled representationsgan
发现论文，激发创造
  • 多模态循环一致的广义零样本学习

    本研究提出了基于对生成对抗网络训练的新规则的多模态循环一致性语义兼容性的方法，可以用于合成更具代表性的视觉表示，从而在几个公开可用的数据集中展现出最佳的广义零样本学习分类结果。

    Aug, 2018

  • 泛零样本学习的语义分离

    本文针对广义零样本学习任务，提出了一种新颖的语义分离框架，使用条件 VAE 将未见过的类别的视觉特征分解为与语义一致、不相关的潜在向量，并且通过相关性惩罚和关系网络确保两个分解表示之间的独立性和语义一致性。在四个广义零样本学习基准数据集上的实验表明，由该框架分离出的语义一致特征在规范化和广义零样本学习任务中更具普适性。

    Jan, 2021

  • 泛零样本学习生成对抗网络

    本文研究了广义零样学习问题，提出了一种新的模型联合了三种不同的方法：视觉 -> 语义映射，语义 -> 视觉映射和度量学习，并且将它们统一在一个框架内，最终的实验结果表明该模型不仅在分类已知类别的图像上具有较高的准确性，而且在分类未知类别的图像上性能也比现有的最先进模型要更好。

    Nov, 2018

  • 基于熵的不确定性校准用于广义零样本学习

    提出一种新的框架，利用双重变分自编码器和三元组损失学习区分性潜在特征，并应用基于熵的校准来最小化见和未见类之间重叠区域的不确定性，在六个基准数据集上进行的实验表明，该方法胜过现有的最先进方法。

    Jan, 2021

  • 学习语义解耦表示以实现多语言机器阅读理解中的零样本跨语言转移

    本文提出一种新颖的多语言机器阅读理解框架，配备 Siamese Semantic Disentanglement Model（SSDM），用于在多语言预训练模型中学习的表示中分离语义和句法，以明确将语义知识转移到目标语言；实验证明，该方法比基于 mBERT 和 XLM-100 的模型更为有效。

    Apr, 2022

  • 使用 GAN 进行视觉数据合成，用于零样本视频分类

    本文提出了一种利用 GAN 进行视觉数据合成的框架来解决零样本视频分类问题，并结合多级语义推理和匹配感知的互信息相关来提高合成视频特征的鉴别能力，实验结果表明这种方法可以显著提高零样本视频分类的性能。

    Apr, 2018

  • DUET：对比零样学习的跨模态语义基础

    本论文提出了一种基于 Transformer 的 DUET 方法，通过自我监督的多模态学习范式，整合了预训练语言模型（PLMs）的潜在语义知识，实现零样本学习并取得了最先进的性能表现。

    Jul, 2022

  • 非任务相关知识构建的可传递广义零样本学习表示

    该文提出了一种新的双对比嵌入网络（DCEN），通过语义对齐和实例区分同时学习特定任务和任务无关知识，其中实例区分监督可帮助捕捉视觉低级知识，减轻表示偏差，从而获得可传输的表示。

    Apr, 2021

  • 双重对抗一致语义网络用于广义零样本学习

    本文提出了一种名为 Dual Adversarial Semantics-Consistent Network (DASCN) 的机制，该机制采用双重 GAN 对视觉语义交互传递的问题进行了处理， 并在广义零样本学习 (GZSL) 问题上实现了先前算法所未能完成的任务。

    Jul, 2019

  • SEER-ZSL: 通用零样本学习的语义编码增强表示

    通过创新性的编码器和组合损失函数，本论文介绍了一种双重策略来解决广义零样例学习中的泛化差距，并提出了一套新的评估指标，以更详细地评估结果的可信度和可复现性。

    Dec, 2023