通过扩展 BERT 模型，提出了一种用于学习来自不同形态的嵌入的无监督学习方法，通过构建全局表示来预测被标记的词和构造标记的图像块，该方法在搜索极其相似产品和预测产品类别的任务中相较于强基线模型获得了显著的增益。

Oct, 2023

通过 Multi-Instance visual-semantic Embedding model (MIE) 模型，我们可以发现和映射成对应标签的语义意义的图像子区域，有效提升了多标签图像注释和零样本学习任务的性能。

Dec, 2015

本文介绍了一种多模式学习排序模型，它将传统特征和来自深度卷积神经网络的视觉语义特征相结合，用于电子商务中的搜索结果排序。在 Etsy 线上商场的大规模实验中，我们验证了多模式表示显著提高了排名质量，并展示了图像信息成功解开了文本模型难以区分的高度不同物品对的面纱。

Nov, 2015

在线市场与电子商务公司中，产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统，其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法，并得出结论，通过预先训练的图像和文本编码器的相对简单的投影，通过对比学习进行训练，可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型，例如 CLIP。此外，我们展示了如何将人机协作过程与基于模型的预测相结合，实现在生产系统中接近完美的精度。

Mar, 2024

本文提出了一种能够同时解决语义差异问题和根据用户历史交互提供个性化语义搜索结果的新方法，将图嵌入、transformer 模型和基于术语的嵌入统一到一个嵌入模型中，同时分享了特征工程、硬负采样策略以及 transformer 模型应用方面的技巧。此个性化检索模型增强了用户的搜索体验，并提高了搜索购买率和网站整体转化率。

Jun, 2023

本研究提出利用网络和社交媒体数据来学习多模态图像和文本嵌入，旨在将在文本领域中学到的语义知识转移至用于语义图像检索的视觉模型。研究结果表明，利用带有相关文本的图像进行无监督学习的流程能够在三个基准测试中学习五种不同的文本嵌入，并在面向文本的图像检索任务中表现出与受监督方法竞争性的性能。在目标数据中训练时，我们在 MIRFlickr 数据集中明显优于现有技术。进一步，我们展示了如何使用学习到的嵌入执行语义多模态图像检索，超越了传统的实例级检索问题。最后，我们提出了一个新的数据集（InstaCities1M），由 Instagram 图像及其相关文本组成，可用于公平比较图像 - 文本嵌入方法。

Aug, 2018

H1 嵌入模型在电子商务平台的产品描述离线术语索引中，通过整合产品检索的词汇方法和基于语义嵌入的方法的优势，提出了一种构建语义丰富术语词汇的方法，能够作为单个标记来处理多词产品术语，提高系统的精度而不影响召回率，此模型在 WANDS 公共数据集上的混合搜索系统得分为 mAP@12 = 56.1% 和 R@1k = 86.6%，超过其他最先进的模型。

Jun, 2024

本文介绍了一种基于复合张量分解模型的多分区嵌入交互改进模型（MEIM），引入了独立核张量以进行集成效应和软正交以进行最大秩映射，提高了表现，同时仍然具有很高的效率，在使用相对较小的嵌入大小时优于强基线，并在困难的链接预测基准测试中实现了最先进的结果。

Sep, 2022

本文提出了一种新的设置，通过加入营销关键词生成与产品特点更符合的图像描述。为解决同类产品拷贝文字相似导致生成描述不准确的问题，引入了名为 ModICT 的多模态文本调整方法，通过类似产品样本作为参考，利用语言模型的上下文学习能力生成描述。实验证明，与传统方法相比，ModICT 显著提高了生成结果的准确性（Rouge-L 提升了 3.3%）和多样性（D-5 提升了 9.4%），可用于增强各种应用中自动生成产品描述的效果。

Feb, 2024

提出了一种 GUIM 模型，用于在混合表示的基础上构建通用的用户和产品项目嵌入，并利用对比学习技术 InfoNCE 避免运算量过大，提高表示的质量。同时，也提出了一组代表性的下游任务来评估该模型学习到的用户和 / 或项目嵌入的质量。

Jul, 2022