该研究介绍一种用于多标签零样本学习的神经网络模型训练方法,该方法使用具有主要嵌入向量的嵌入矩阵并在训练期间加权损失函数以鼓励嵌入矩阵多样化,以提高基于标签的图像检索的零样本模型的质量。该方法在多个常见数据集(NUS-Wide,COCO, Open Images)上实现了 SoTA 的结果。
May, 2021
本文介绍了多义实例嵌入网络(PIE-Nets),通过多头自注意力和残差学习,结合全局上下文和局部特征计算实例的多个不同表示形式,以解决当前方法无法有效处理多义实例的问题,并且将其应用于图像文本检索和更具挑战性的视频文本检索,同时发布了一个用于研究视频文本检索的 MRW 数据集。
Jun, 2019
我们提出了一个多模态变分自编码器 (M-VAE),能够在学习图像特征和语义空间之间的共享潜在空间上,通过使用多模态损失来拟合多模态数据。该方法可用于预测新样本,且实验结果表明在广义零样本学习方面,我们提出的模型优于当前最先进的方法。
Jun, 2021
本文提出了一种基于概念嵌入和语义学习模型的多标签零样本学习方法,可以高效地将未知类别在已有的概念嵌入空间中进行映射,并在实验中证明在处理含有未知标签的场景时,该方法优于现有多标签零样本学习模型且不需要对语义学习模型进行重新训练。
Jun, 2016
本研究提出了一种新的多实例变分自编码器(MIVAE)算法,该算法能够显式地建模实例之间的依赖关系,从而更好地预测袋标签和实例标签,并在多个多实例基准数据集和端到端医学影像数据集上取得了比现有算法更好的效果。
本文介绍了一种简单的图像嵌入系统构建方法,可以从现有的任何 n-way 图像分类器和语义词嵌入模型中构建,该方法通过使用类标签嵌入向量的凸组合将图像映射到语义嵌入空间中,不需要进行额外的训练,该方法在 ImageNet 零样本学习任务上表现优异。
Dec, 2013
本文介绍了一种使用语义嵌入深度神经网络,采用基于空间感知语义特征和通道注意力模型的方法来提高多标签预测模型性能的方法。实验证明,与基线方法相比,该方法平均相对改进 15.27%,在 Instagram 时尚服装图像上进行了多标签时尚属性分类的核心实验和消融研究,并将模型性能与我们的方法进行比较,发现我们的方法性能更优秀。
May, 2023
该研究提出了一种基于无监督学习和深度神经网络的终端到终端学习框架,结合自编码器和最大均值差异损失来学习语义和视觉特征的联合嵌入,实现了跨域多模态表示的提取,并构建了更全面的标记和未标记数据的嵌入,帮助从归纳到传导的范围内解决零样本和少样本图像识别和检索等各种复杂任务。
Mar, 2017
该研究提出了一种使用跨模态关注力和语义图嵌入的方法来进行多标签分类,该方法能够有效捕获标签之间的空间或时间依赖关系,并发现每个类的具有区分性特征的位置,实验结果表明该方法优于现有的最先进技术。
Dec, 2019
在过去的十年中,人们在电子商务应用的图像搜索领域取得了重大进展。本文报告了多模式物品嵌入模型(MIEM)的设计和部署,以解决传统图像检索模型在商品多图像处理上的限制和存储负担,从而提高检索结果的准确性。在 Shopee 电子商务平台中部署后,MIEM 在图像搜索功能上实现了用户点击量的显著增长(9.90%)和用户订单量的提升(4.23%)。
Nov, 2023