单模态和多模态连体网络在服装匹配中的效果比较
本文提出了一种基于孪生网络和全连接网络的推荐方法,其中加入颜色直方图功能以提高时尚兼容性评价,且网络训练采用拉普拉斯和矩阵变量正态分布以增强网络效率和稀疏性。
May, 2019
在线市场与电子商务公司中,产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统,其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法,并得出结论,通过预先训练的图像和文本编码器的相对简单的投影,通过对比学习进行训练,可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型,例如 CLIP。此外,我们展示了如何将人机协作过程与基于模型的预测相结合,实现在生产系统中接近完美的精度。
Mar, 2024
本文提出一种利用混合 siamese 网络及混合损失函数,结合神经风格迁移技术,以捕捉低级风格特征的图像检索方法,用于检索配套物品,并在实验中得到更优于传统 siamese 网络的结果。
Nov, 2019
本文提出了一种基于双向 LSTM 的视觉 - 语义嵌入方法,可以为线上时尚购物提供更有效的推荐服务,实验结果表明该方法在 Polyvore 数据集上具有优秀的性能。
Jul, 2017
本研究基于文本和图像模态探讨了一种基于多模态晚期融合的方法,以对 Rakuten 上的电子商务产品进行分类,并证明了该方法相比于单模态和其他多模态方法的有效性和优越性。该研究团队在 SIGIR 2020 电子商务研讨会数据挑战赛的多模态产品分类任务中以 0.9144 的 macro-F1 得分荣获第一名。
Aug, 2020
提出使用基于 GAN 和 Siamese 网络的视觉搜索框架,可以从输入的照片中提取被穿着的服装并与数据集中的服装进行匹配,以帮助在线购物客户更好地搜索商品。
Nov, 2019
提出了一个基于三元组生成的时尚特定预训练框架和可同时执行时尚检索和字幕任务的灵活解码器模型设计,具有跨模态检索、图像检索、图像字幕和多模态分类等多种功能。
Oct, 2022
本研究提出了一种多模态模型,通过使用多个神经网络模型从文本(CamemBERT 和 FlauBERT)和视觉数据(SE-ResNeXt-50)提取的特征,并采用简单的融合技术,显著提高了单一模态模型的性能和类似模型性能,我们实验了多种融合技术,并发现将单一模态网络的个体嵌入组合为特征向量的拼接和平均值结合的性能最好,每种模态互补了其他模态的缺点,证明增加模态数量可以是改善多标签和多模态分类问题性能的有效方法。
Jul, 2022
该论文探讨了多模态条件下的时尚图像编辑任务,提出了一种基于多模态指导的生成方法,利用时尚设计的文本、人体姿势、服装草图和面料纹理等多模态提示生成以人为中心的时尚图像。实验证明了提出方法在现实感和一致性方面的有效性。
Mar, 2024
提出了一种基于多模态数据的关注机制的序列推荐方法,该方法利用图像、文字和类别等多模态数据,利用 attention 操作和多任务学习损失,提高了推荐系统的性能。
May, 2024