电商产品搜索的鲁棒模型学习
文章提出采用反事实风险最小化法(CRM)来实现从真实世界的日志数据中学习排名模型,以避免需要有关性的判断和数据聚合,此方法更适合从 Logged 数据中学习,CRM 方法有效地从 Logged 数据中学习,效果显著优于基线排名器(λ-MART),并且优于各种深度神经网络模型的全信息损失(例如交叉熵)的表现。
Jul, 2019
在线市场与电子商务公司中,产品匹配是识别同一产品不同表示以提高可发现性、整理性和定价性的重要能力。我们在一个行业环境中提出了一个强大的多模态产品匹配系统,其中大规模的数据集、数据分布转移和未知领域带来了挑战。我们比较了不同的方法,并得出结论,通过预先训练的图像和文本编码器的相对简单的投影,通过对比学习进行训练,可以在成本和性能方面取得最新的结果。我们的解决方案优于单模态匹配系统和大规模预训练模型,例如 CLIP。此外,我们展示了如何将人机协作过程与基于模型的预测相结合,实现在生产系统中接近完美的精度。
Mar, 2024
通过训练深度学习模型,使用顾客行为数据,我们开发了一种新的损失函数,并结合 n-gram 和平均池化来捕捉短程语言模式,并使用哈希来处理词汇表外的标记,从而解决语意匹配在产品搜索中的挑战。在离线测试和在线 A/B 测试中,均表现出比基线语意搜索方法更好的召回率和平均准确率。
Jul, 2019
本研究提出了一种有效的方法来预测搜索查询 - 项目关系,采用预训练的 transformer 和 LSTM 模型,结合对抗训练,指数移动平均值,多样化抽样和集成策略,从而增加深度学习模型的鲁棒性,来解决查询之间互相未见过的极难问题。应用我们的策略,我们在 KDD Cup 2022 产品替代分类任务中获得了第 10 名的成绩。
Aug, 2022
本文提出了一种基于 Bert-Large 的双阶段排序方案,首先通过精细的查询 / 标题关键词匹配检索候选商品,然后利用经过人工标注数据的 BERT-Large 进行分类,同时在多个 GPU 主机上实现并行预测和基于 Tensorflow 的 C++ 分词自定义操作。在数据挑战中,我们的模型在监督阶段的总 F1 分数上获得了第一名,在最终阶段的平均每个查询的 F1 分数上获得了第二名。
Aug, 2020
在电子商务搜索引擎中,语义相关性计算对于确保所选项目与客户意图紧密对齐至关重要。本文介绍了一种基于交互的建模范式,通过动态长度表示方案、专业术语识别方法和对抗性训练协议来增强模型的鲁棒性和匹配能力。离线评估表明我们方法的卓越鲁棒性和效果,在线 A/B 测试证实了在相同曝光位置提高相关性、增加点击和转化的能力。据我们所知,这是第一个用于大型电子商务搜索相关性计算的基于交互的方法。
Jun, 2024
该论文旨在使用基于树的 XMC 模型来改善语义产品搜索,其中推理时间复杂度对于产品数量为对数级。使用 n-gram 特征进行层次线性模型并通过重量修剪使本方法具有灵活性,提高了 Recall@100,并在搜索结果中添加了多样性。
Jun, 2021
本文提出了一种有效的多语言模型,该模型不仅利用已经处理好的类平衡数据集,还通过多任务预训练获得更一般化的表示。作者采用了 mlm 任务、分类任务和对比学习任务,在微调阶段采用自信学习、EMA、FGM 和 R-Drop 等方法提高模型的泛化能力和鲁棒性,采用多粒度语义单元来寻找查询和产品文本元数据,以增强模型的表示能力。该方法在三个任务中排名前八。
Jan, 2023