本文介绍了在 eBay 产品视觉搜索挑战 (FGVC9) 中获得第一名的一个模型。该模型通过将视觉模型和视觉语言模型相结合，运用 20 个模型的结合方式，在对 coarse labels 进行两阶段训练的基础上，进行了精细化的自我监督训练。此外，该模型通过使用文本描述训练图像作为监督信号，对图像编码器进行了微调。最终，该模型达到了 0.7623 MAR@10 的成绩，超过了所有竞争对手。

Jul, 2022

本文提出了一种单模态视觉表征学习的方法，主要用于电子商务中的产品推荐、搜索和广告应用，包括预训练骨干架构、卷积神经网络和视觉变换器家族等。通过离线和在线的方式，我们对实验方法进行了评估和分析，并提出了新的文本到图像生成离线评估方法来评估视觉相似度的推荐系统，在 Etsy 的生产环境中进行了机器学习系统的应用。

May, 2023

本文介绍了一种用于 eBay 可视搜索挑战的弱监督商品检索的新型解决方案，该方案通过使用来自商品标题的伪属性作为多标签分类的真实值，采用多个强大的 backbones，包括白化，重排序和模型集成等后处理技术，实现了 71.53% 的 MAR，为 “Involution King” 在排行榜上获得第二名。

Aug, 2022

在线市场与电子商务公司中，产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统，其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法，并得出结论，通过预先训练的图像和文本编码器的相对简单的投影，通过对比学习进行训练，可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型，例如 CLIP。此外，我们展示了如何将人机协作过程与基于模型的预测相结合，实现在生产系统中接近完美的精度。

Mar, 2024

使用视觉搜索和反向索引的方法，基于多个时尚属性和颜色、图案等视觉特征，构建了一个大规模的时尚商品搜索系统。

Sep, 2016

本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

Jan, 2023

提出了一个基于三元组生成的时尚特定预训练框架和可同时执行时尚检索和字幕任务的灵活解码器模型设计，具有跨模态检索、图像检索、图像字幕和多模态分类等多种功能。

Oct, 2022

该研究旨在通过统一学习方案和动态范围缩小，提高多模式电子商务属性值提取的性能，通过预训练模型和动态范围缩小方法，将多模式任务联合训练，并选择属性原型来改进当前方法的预测性。

Jul, 2022

本文介绍了一种通用的端到端多语言检索系统，基于图注意力和转换器的多语言语言模型，旨在处理全球电子商务业务中的产品检索，离线实验结果表明，该算法平均超过最先进的基线的 35 % 的召回率和 25% 的平均均方误差。

May, 2021

我们提出了一种互动式图像检索系统，结合了视觉语言模型和大型语言模型，通过用户反馈迭代改进查询，并利用无噪声的查询扩展提高检索准确性，在评估中获得了 10% 的召回率改善。

Apr, 2024