AAAIFeb, 2021

时尚聚焦：多模态检索系统 用于电子商务中视频商品本地化

PDF
TL;DR该研究提出了一种名为 “时尚聚焦” 的多模态检索系统的创新演示，用于自动实现准确的视频到购物匹配，该系统结合图像、文本、交互等不同模态的特征，通过视频内容的结构化和多模态检索过程实现。
live-stream shoppingshort videomulti-modal retrievalvideo content structuringe-commerce
发现论文，激发创造
  • 明星穿搭：从视频中检索时尚产品

    本研究提出了一个系统，用于从视频内容中检索服装和时尚产品。通过将服装物品和视频帧存入索引数据库并使用时间聚合和快速索引技术进行帧检索，我们能够以简单和非侵入性的方式从视频中找出时尚产品。在大规模数据集上进行的实验表明，使用该框架可以将内存需求降低 42.5 倍，而精度仍然保持在约 90％左右。

    Oct, 2017

  • 时尚电商中的多模态端到端产品匹配

    在线市场与电子商务公司中，产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统，其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法，并得出结论，通过预先训练的图像和文本编码器的相对简单的投影，通过对比学习进行训练，可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型，例如 CLIP。此外，我们展示了如何将人机协作过程与基于模型的预测相结合，实现在生产系统中接近完美的精度。

    Mar, 2024

  • 直播产品识别的跨视图语义对齐

    通过对多模态数据集进行实例级对比学习和交叉视图补丁级特征传播，提出了一个新的 RICE 模型，来解决在线销售产品的视觉识别问题，并通过与真实世界问题相似的 LPR4M 数据集进行了广泛实验验证。

    Aug, 2023

  • 一种用于电子商务产品分类的多模态后融合模型

    本研究基于文本和图像模态探讨了一种基于多模态晚期融合的方法，以对 Rakuten 上的电子商务产品进行分类，并证明了该方法相比于单模态和其他多模态方法的有效性和优越性。该研究团队在 SIGIR 2020 电子商务研讨会数据挑战赛的多模态产品分类任务中以 0.9144 的 macro-F1 得分荣获第一名。

    Aug, 2020

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020

  • 多队列动量对比用于微视频产品检索

    通过提出 MQMC 网络，该文首次尝试探索多模式和多模态实例之间的检索问题，为商家提供了新的电子商务渠道，并成功地解决了微视频记录的挑战，取得了优秀的性能结果。

    Dec, 2022

  • 基于注意力机制的多模态数据顺序推荐系统

    提出了一种基于多模态数据的关注机制的序列推荐方法，该方法利用图像、文字和类别等多模态数据，利用 attention 操作和多任务学习损失，提高了推荐系统的性能。

    May, 2024

  • 电商同款商品检索的统一视觉语言表征建模

    本文提出一种统一的视觉 - 语言建模方法，用于电子商务同款产品检索，包括取样和对比学习，可进行跨模态产品检索和用户交互搜索，离线和在线测试都表明其卓越的检索性能和吸引更多点击和转化的能力，并已在全球最大的 B2B 电子商务平台中部署用于同款产品检索。

    Feb, 2023

  • 电子商务中选择最佳产品图片的智能系统

    本文提出了一种基于机器学习的视觉内容管理系统，用于极大型电子商务产品目录。该系统基于图像分类技术，从多个供应商聚合产品图像，并根据顾客需求进行优化，通过不同阶段的分析实现计算机视觉和深度学习技术，解决实际业务问题。

    Nov, 2018

  • 电子商务中大规模商品推荐生成的多模态推荐系统

    本文提出了两种可视化推荐系统，该系统可以自动为客厅家具配套筛选整个选择，以最大化配合效果和利用文本数据和多语言话题建模来推断风格。实验结果表明，从包括视觉和文本数据的产品集合中发现补充风格效果最好。

    Jun, 2018