MMAug, 2020

针对电子商务非默认搜索排名的 BERT 微调

PDF
TL;DR本文提出了一种基于 Bert-Large 的双阶段排序方案，首先通过精细的查询 / 标题关键词匹配检索候选商品，然后利用经过人工标注数据的 BERT-Large 进行分类，同时在多个 GPU 主机上实现并行预测和基于 Tensorflow 的 C++ 分词自定义操作。在数据挑战中，我们的模型在监督阶段的总 F1 分数上获得了第一名，在最终阶段的平均每个查询的 F1 分数上获得了第二名。
e-commerceranking schemebert-largequery/title keyword matchinggpu hosts
发现论文，激发创造
  • 使用 TF-Ranking 中的 BERT 进行排序学习

    该论文提出了一种利用 BERT 表示和 learning-to-rank 模型进行文档排序的机器学习算法。在公共基准测试中，采用这种方法可以取得更好的表现。最新的实验使用 RoBERTa 和 ELECTRA 模型，取得了较之其它方法更好的排名成绩。

    Apr, 2020

  • BERT 的多阶段文档排名

    利用 BERT 模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在 MS MARCO 和 TREC CAR 数据集上提供了与现有技术相当或更好的结果。

    Oct, 2019

  • BERT 排名行为解析

    本文研究了预先训练的 BERT 在排名任务中的表现和行为，探索了在两种排名任务中优化 BERT 的几种不同方法，并实验证明了 BERT 在问题回答焦点的段落排名任务中的强有效性，以及 BERT 作为强交互式序列到序列匹配模型的事实。

    Apr, 2019

  • 电商产品搜索的鲁棒模型学习

    通过开发深度学习模型来识别搜索中的信息不匹配，可以显著提高电商用户体验和排名性能。

    May, 2020

  • E-BERT: 电商领域短语和产品知识增强语言模型

    提出了一个名为 E-BERT 的统一的预训练框架，旨在解决 BERT 在 E-commerce 相关任务中无法很好支持两种级别的领域知识的问题，该框架通过自适应混合掩蔽实现了短语级别知识的保留以及通过邻居产品重构实现了利用产品级别知识，研究表明 E-BERT 在评论问答、方面提取、方面情感分类和产品分类等四个下游任务中有着良好的表现。

    Sep, 2020

  • 优化电子商务搜索：朝向可泛化和排名一致的预排序模型

    在大型电子商务平台中，搜索系统通常由一系列模块组成，其中包括召回、预排序和排序阶段。我们提出了一种新颖的方法：一种具有一般化和秩次一致性的预排序模型（GRACE），通过引入多个二分类任务来预测产品是否在排名模型估计的前 k 个结果中，从而实现排名的一致性，并通过预训练对所有产品的对比学习来实现一般化。实验证明，在离线度量和在线 A/B 测试中都取得了显著的改进：AUC 增加了 0.75％，CVR 增加了 1.28％。

    May, 2024

  • 基于 Attention-GRU 模型的品牌级别排名系统

    本文提出了第一个品牌级别的排名系统，针对个性化品牌排名问题进行了特征工程设计，并通过包含三种重要改进的 Attention-GRU 模型对品牌进行排名。作者进行了一系列实验来评估该排名模型的有效性，并在淘宝等大型电子商务平台上测试了用户对品牌级别排名系统的反应。

    May, 2018

  • 从语义检索到成对排名：在电子商务搜索中应用深度学习

    本文介绍了如何将深度学习模型应用到电商平台搜索系统的重要阶段之一 - 商品检索和排名中，以提高语义检索和个性化排名的效果。

    Mar, 2021

  • 基于创新的 Bert 重新排序语言模型在语音识别中的应用

    本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

    Apr, 2021

  • 多阶段检索管道中 BERT 重新排序器的训练思考

    本文提出了一种名为局部对比估计的方法，用于训练基于深度先前训练的语言模型的重排器，以实现更好的文本检索性能，实验证明本方法显著优于现有的基于深度两阶段模型。

    Jan, 2021