该论文提出了一种基于 E-commerce 的多模态预训练数据集 M5Product 和一种名为 SCALE 的预训练框架，实现了不同模态特征的融合和学习，并在四个下游任务中展示了其优越性，该方法具有重要的数据集规模和多样性。

Sep, 2021

该论文提出一种名为 K3M 的新方法，通过引入知识模态来进行多模态预训练，以解决实际 E-commerce 场景中的产品数据中存在的多模态噪声和缺失问题，并在真实世界的 E-commerce 数据集和一系列基于产品的下游任务上显示出明显的性能提升。

Aug, 2021

在线市场与电子商务公司中，产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统，其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法，并得出结论，通过预先训练的图像和文本编码器的相对简单的投影，通过对比学习进行训练，可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型，例如 CLIP。此外，我们展示了如何将人机协作过程与基于模型的预测相结合，实现在生产系统中接近完美的精度。

Mar, 2024

本文介绍了一种用于 eBay 可视搜索挑战的弱监督商品检索的新型解决方案，该方案通过使用来自商品标题的伪属性作为多标签分类的真实值，采用多个强大的 backbones，包括白化，重排序和模型集成等后处理技术，实现了 71.53% 的 MAR，为 “Involution King” 在排行榜上获得第二名。

Aug, 2022

本研究提出了一种实例为中心的多模态预训练范式 ECLIP，通过引入可学习实例查询的解码器架构和两个预处理任务，从 1 亿个电子商务相关数据中预训练出语义丰富、稳健的模型，进而在广泛的下游任务中超越现有方法，证明其在现实世界中的广泛可转移性。

Apr, 2023

本文提出一种基于视觉和语言两种形式的模态的互相查询网络，用于产品图像的分割，并构建了一个多模态产品分割数据集（MMPS），实验结果表明该方法显著优于现有方法。

Jun, 2023

本研究基于文本和图像模态探讨了一种基于多模态晚期融合的方法，以对 Rakuten 上的电子商务产品进行分类，并证明了该方法相比于单模态和其他多模态方法的有效性和优越性。该研究团队在 SIGIR 2020 电子商务研讨会数据挑战赛的多模态产品分类任务中以 0.9144 的 macro-F1 得分荣获第一名。

Aug, 2020

本文介绍了 eProduct 数据集的创建，该数据集包含 250 万个产品图片。eProduct 可作为一个训练集和评估集来加速自监督学习、弱监督学习和多模态学习等领域的发展，特别是针对细粒度识别问题，如视觉搜索。通过基于此数据集训练的基线模型的性能，分析了 eProduct 数据集的多样性和使用结果。

Jul, 2021

CommerceMM 是一种多模态模型，其具备多种理解商业主题的能力，并能够推广到广泛的任务范围，包括多模态分类、图像 - 文本检索、查询 - 产品检索、图像 - 产品检索等。它使用预训练的方式，在图像 - 文本对上完成了 5 个有效的预训练任务，并在 9 个新的跨模态和跨配对检索任务上提出了名为 Omni-Retrieval 的方法。结果表明，该模型在细调后在 7 个与商业相关的下游任务中实现了最先进的性能。

Feb, 2022

本文提出了一种基于多模态提示学习框架的方法，通过仅使用少量标注数据快速高效地为新颖产品生成标题，并在不同场景中进行实验证明，在仅使用 downstream 标签数据 1% 的情况下，该方法实现了最佳 few-shot 学习效果，甚至与完全监督的方法相比也具有竞争力。

Jul, 2023