Feb, 2023

利用预训练语言模型和微调增强电子商务推荐

PDF
TL;DR本文研究了将预训练语言模型应用于传统推荐算法中对电子商务数据集的影响，并将结果与基准模型进行了比较。通过领域特定的微调，将 PLMs 应用于传统推荐算法中可以提高模型的预测能力。这些结果凸显了在电子商务环境中利用文本信息的重要性，并提供了更好地应用 PLMs 的见解。
pretrained language modelsrecommendation systemse-commerce datasetspredictive capabilitytraditional recommender algorithms
发现论文，激发创造
  • 利用预训练语言模型增强新闻推荐

    本文介绍了使用预训练语言模型进行个性化新闻推荐的方法，通过离线实验结果表明，该方法在英语和全球市场上都取得了显著的点击和页面查看量的提高，关键词包括个性化新闻推荐、文本建模、预训练语言模型、新闻建模和离线实验结果。

    Apr, 2021

  • 大型语言模型与机器学习在电子商务推荐中的新兴协同效应

    电子商务和网络应用的蓬勃发展使得推荐系统成为我们日常生活中重要的一部分，但是现有基于深度神经网络的方法在理解用户兴趣、捕捉文本信息以及推广到不同场景等方面仍存在限制。近期的研究借助大型语言模型的崛起旨在改进推荐系统，本文系统回顾了已有的大型语言模型驱动的推荐系统，介绍了使用大型语言模型作为特征编码器学习用户和物品表示的方法以及在预训练、微调和提示等三个范式下的最新进展，并对这一新兴领域的未来方向进行了全面的讨论。

    Mar, 2024

  • SVM 与预训练语言模型（PLMs）在文本分类任务中的比较

    本文介绍了在使用传统的支持向量机（SVM）结合精细特征工程的方法进行文本分类任务时，与使用各种经过预训练的语言模型（PLMs）相比，其性能更便宜更优越的研究结果。

    Nov, 2022

  • 大语言模型时代的推荐系统

    本论文对基于大型语言模型（LLMs）的推荐系统进行了全面综述，总结了 LLMs 在推荐系统中的应用方法，包括预训练、微调和提示，并讨论了未来方向。

    Jul, 2023

  • 基于预训练语言模型的知识感知协同过滤用于个性化基于评论的评分预测

    为解决个性化基于评论的评分预测中的问题，提出了一种名为 KCF-PLM 的知识感知协同过滤与预训练语言模型的方法，将评论文本、方面、知识图和预训练语言模型结合起来，通过表示传播和用户 - 物品引导关注来模拟用户 - 物品交互，实验证明了 KCF-PLM 的有效性。

    Aug, 2023

  • 基于 Transformer 模型的智能电子商务推荐的文本理解与生成

    Transformer 结构预训练模型在电子商务领域的核心应用场景包括但不限于产品描述的自动生成、用户评论的情感分析、个性化推荐系统的构建和客服对话的自动处理。本研究通过对模型的工作原理、实施过程和具体案例中的应用效果进行详细分析，强调了预训练模型在理解复杂用户意图和提高推荐质量方面的独特优势，并讨论了未来的挑战和改进方向，例如如何进一步提高模型的泛化能力、处理大规模数据集的能力以及保护用户隐私的技术策略。最终，该论文指出 Transformer 结构预训练模型在电子商务领域不仅推动了技术创新，还给商家和消费者带来了实质性的利益，并展望这些模型在电子商务和其他领域将继续发挥关键作用。

    Feb, 2024

  • 知识增强的预训练语言模型：综述

    本文论述了预训练语言模型（PLM）的重要性以及知识增强型预训练语言模型（KE-PLMs）的研究现状，探讨了 KE-PLMs 在各种 NLU 和 NLG 应用中的超越性能以及 KE-PLMs 面临的挑战和未来研究方向。

    Oct, 2021

  • 知识增强预训练语言模型综述

    本文利用分类法阐述了如何将外部知识融入预训练语言模型（PLMs）中解决其因缺乏外部知识而导致的推理能力不足问题，以及 KE-PLMs 在 NLU 和 NLG 任务中的应用和未来发展方向。

    Nov, 2022

  • ElitePLM：预训练语言模型通用语言能力评估的实证研究

    本文介绍了一个对预训练语言模型（PLMs）的普适语言能力进行大规模实证研究的 ElitePLM，并设计了四个评估维度来衡量十种广泛使用的 PLMs，包括记忆、理解、推理和组合。实验结果表明，PLMs 在不同的能力测试中表现出色；下游任务中的微调通常对数据大小和分布敏感；PLMs 在类似任务之间具有出色的可转移性，并且 PLMs 的预测结果在我们的实验中作为开放资源发布，以进行更深入和详细的 PLMs 语言能力分析。这篇论文可以引导未来的工作选择，应用和设计特定任务的 PLMs。

    May, 2022

  • EcomGPT-CT: 具有半结构化数据的电子商务大型语言模型的连续预训练

    大型语言模型（LLMs）预先训练在海量语料库上，在各种 NLP 任务中展示了出色的性能。本文针对特定领域应用这些模型仍然存在着显著挑战，如缺乏领域知识、有限的领域知识利用能力和不足的领域特定数据格式适应能力。因此，本研究聚焦于以电子商务领域为示例进行面向领域的持续预训练。具体而言，我们探讨了在无标签的一般和电子商务语料库上进行持续预训练对 LLMs 的影响。此外，我们设计了一种混合策略来更好地利用电子商务半结构化数据。我们构建了多个任务来评估 LLMs 在电子商务领域中的少样本上下文学习能力以及经过指令调整后的零样本性能。实验结果证明了电子商务 LLMs 持续预训练的有效性，以及我们设计的数据混合策略的功效。

    Dec, 2023