OmniSearchSage 是一个可扩展且适用于 Pinterest 搜索的多功能系统，通过统一查询嵌入与钉子和产品嵌入的联合学习，使 Pinterest 的生产搜索系统的相关性提高了 8% 以上，参与度提高了 7% 以上，广告点击率提高了 5% 以上。

Apr, 2024

本文提出了一种能够同时解决语义差异问题和根据用户历史交互提供个性化语义搜索结果的新方法，将图嵌入、transformer 模型和基于术语的嵌入统一到一个嵌入模型中，同时分享了特征工程、硬负采样策略以及 transformer 模型应用方面的技巧。此个性化检索模型增强了用户的搜索体验，并提高了搜索购买率和网站整体转化率。

Jun, 2023

该研究提出了一种基于无监督学习和深度神经网络的终端到终端学习框架，结合自编码器和最大均值差异损失来学习语义和视觉特征的联合嵌入，实现了跨域多模态表示的提取，并构建了更全面的标记和未标记数据的嵌入，帮助从归纳到传导的范围内解决零样本和少样本图像识别和检索等各种复杂任务。

Mar, 2017

本研究提出了一种新的两条路径的神经网络，其中视觉路径采用了最新的空间感知池化机制模型，结合从头开始训练的文本路径，实现了一种多模态嵌入。在处理带有标注图像的任务中经过训练后，该模型可提供新的跨模态检索性能和短语的视觉定位，达到了最新的最佳表现。

Apr, 2018

本文介绍了如何利用分布式计算平台如 Amazon Web Services 和开源工具，以及一小团队的努力，构建、发布和维护一个成本效益高、大规模的视觉搜索系统，并通过 Pinterest 平台进行了一系列实验，证明了基于视觉搜索的内容推荐可以提高用户参与度，分享构建商用视觉搜索引擎的实现细节和经验，以期更广泛地将视觉搜索引入商业应用。

May, 2015

本文提出了一种统一的端到端方法，用于构建面向电子商务的大规模视觉搜索和推荐系统。我们通过统一的深度卷积神经网络结构，VisNet，来学习嵌入，以捕捉几个语义颗粒度的视觉相似性概念，从而证明了我们方法在 Exact Street2Shop 数据集上的优越性能，为 Flipkart 的 50M 产品目录提供了支持 2K 的视觉推荐查询，从而产生了显著的业务影响。

Mar, 2017

本研究旨在通过端到端的学习，从原始用户行为中进行个性化推荐引擎的革新，通过一种新的密集全行动损失，编码用户的长期兴趣来优化用户嵌入，通过直接学习实时操作序列来捕获用户的短期意图。通过离线和在线实验验证了新模型架构的性能，并解决了在生产中使用混合 CPU/GPU 设置服务这种复杂模型的挑战。

Sep, 2022

本研究旨在使用文本和视觉信息进行有效的单词嵌入训练和评估。研究人员提出了一个大规模数据集，其中包含 300 万语句，描述了来自 Pinterest 的超过 4000 万张图像。该研究还报道了一种基于 RNN 的多模态模型，通过在嵌入中整合视觉信息，该模型可以找到语义相似或相关的单词和短语。经验表明，共享策略对于学习这种多模态嵌入至关重要。

Nov, 2016

该研究提出了通过将图像映射到类别嵌入中以学习语义鉴别性特征的方法，从而提高图像检索结果的语义一致性。结果显示在 CIFAR-100，NABirds 和 ImageNet 上，学习到的图像嵌入大大提高了图像检索结果的语义一致性。

Sep, 2018

该研究论文通过构建一个新的大规模公共基准数据集，评估了通用图像嵌入的性能，并通过实验证明，与单独训练每个领域的模型相比，现有方法和简单的扩展方法的性能较差。

Sep, 2023