MMAug, 2020

一种用于电子商务产品分类的多模态后融合模型

PDF
TL;DR本研究基于文本和图像模态探讨了一种基于多模态晚期融合的方法，以对 Rakuten 上的电子商务产品进行分类，并证明了该方法相比于单模态和其他多模态方法的有效性和优越性。该研究团队在 SIGIR 2020 电子商务研讨会数据挑战赛的多模态产品分类任务中以 0.9144 的 macro-F1 得分荣获第一名。
发现论文，激发创造
  • 一张图 worth 一千字吗？一种深度多模融合 e-commerce 商品分类模型

    该论文采用决策级融合方法将文本和图像输入用于产品分类预测，通过训练深度神经网络和学习网络来选择输入类型，并成功地提高了大规模产品分类数据集上的准确性。

    Nov, 2016

  • 基于层次融合的多模态电子商务产品分类

    本研究提出了一种多模态模型，通过使用多个神经网络模型从文本（CamemBERT 和 FlauBERT）和视觉数据（SE-ResNeXt-50）提取的特征，并采用简单的融合技术，显著提高了单一模态模型的性能和类似模型性能，我们实验了多种融合技术，并发现将单一模态网络的个体嵌入组合为特征向量的拼接和平均值结合的性能最好，每种模态互补了其他模态的缺点，证明增加模态数量可以是改善多标签和多模态分类问题性能的有效方法。

    Jul, 2022

  • 电子商务的多模态属性提取

    本文介绍了一种基于多模态架构和深度模型的方法，从文本和图像中提取商品属性，旨在改善在线市场的用户体验。在实验中，该方法表现出良好的效果，并成功应用于 Rakuten-Ichiba 等在线市场。

    Mar, 2022

  • 时尚电商中的多模态端到端产品匹配

    在线市场与电子商务公司中，产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统，其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法，并得出结论，通过预先训练的图像和文本编码器的相对简单的投影，通过对比学习进行训练，可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型，例如 CLIP。此外，我们展示了如何将人机协作过程与基于模型的预测相结合，实现在生产系统中接近完美的精度。

    Mar, 2024

  • 电子商务中基于多模态感知的知识预训练

    该论文提出一种名为 K3M 的新方法，通过引入知识模态来进行多模态预训练，以解决实际 E-commerce 场景中的产品数据中存在的多模态噪声和缺失问题，并在真实世界的 E-commerce 数据集和一系列基于产品的下游任务上显示出明显的性能提升。

    Aug, 2021

  • 文化遗产艺术品的多模式元数据分配

    我们开发了一个多模态分类器，在文化遗产领域使用了一种后期融合的方法，并引入了一种新颖的数据集。

    Jun, 2024

  • 电商产品的多模态联合属性预测和价值提取

    该研究提出了一种多模式方法，结合了产品图片和文本描述信息，以联合预测产品属性和提取属性值，实现了完备和准确的产品属性值数据集，并在实验中证明了显式建模属性和值之间关系以及选择性地利用产品信息可以提高任务表现。

    Sep, 2020

  • 时尚聚焦：多模态检索系统 用于电子商务中视频商品本地化

    该研究提出了一种名为 “时尚聚焦” 的多模态检索系统的创新演示，用于自动实现准确的视频到购物匹配，该系统结合图像、文本、交互等不同模态的特征，通过视频内容的结构化和多模态检索过程实现。

    Feb, 2021

  • 深度多模态数据分析的调查：协作，竞争和融合

    本文综述多模型数据分析的现有状况和未来方向，着重介绍了基于深度神经网络的多特征融合方法，这些方法的关键组成部分是协作，对抗训练和特征融合。

    Jun, 2020

  • 基于注意力机制的多模态数据顺序推荐系统

    提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。

    May, 2024