Aug, 2023

LLaMA-E：用多方面指导强化电子商务撰写

PDF
TL;DR提出了针对电子商务撰写任务的统一和定制的 LLaMA-E 语言模型，包括广告生成、查询增强的产品标题重写、产品分类、购买意向推测和常见问答等任务，并将 GPT-3.5 作为教师模型，通过扩展种子指令形成 LLaMA-E 模型的训练集，在定量和定性评估中取得了最先进的结果，并在零样本场景中展现出优势。
e-commerce authoringlanguage modelsllama-eads generationcustomer privacy data
发现论文，激发创造
  • 针对特定场景的 LLaMa 多任务指令调节：一项关于写作辅助的初步研究

    本文研究了使用指令驱动数据 fine-tune 的 LLMa 模型在写作场景下的性能，结果表明持续地使用写作数据对 LLMa 进行微调，可以显著提高它在写作任务上的表现，并为未来 LlMa 在特定场景中的微调提供了洞见。

    May, 2023

  • eCeLLM：从大规模、高质量的指导数据推广用于电子商务的大型语言模型

    该研究构建了 ECInstruct 数据集，发展了一系列针对电子商务的大型语言模型（eCeLLM）。综合实验和评估结果表明，eCeLLM 模型在领域内优于基线模型，包括最先进的 GPT-4 和最新的任务特定模型，并且在领域外的情景中表现出卓越的泛化能力，突显其作为一种通用电子商务模型的优越性。ECInstruct 数据集和 eCeLLM 模型潜力巨大，可以为电子商务领域的多功能和有效的语言模型提供支持。

    Feb, 2024

  • EcomGPT：使用任务链调整的大型语言模型，适用于电子商务

    为了解决电子商务数据对通用大语言模型的挑战问题，在本文中我们提出了第一个电子商务指令数据集 EcomInstruct，并通过构建基于电子商务基本数据类型的原子任务来扩大数据规模和任务多样性。通过在 EcomInstruct 上训练背骨模型 BLOOMZ，我们开发了具有不同参数规模的 EcomGPT。EcomGPT 在零样本泛化能力方面表现出色。广泛的实验和人工评估表明，EcomGPT 在电子商务任务的跨数据集 / 任务泛化方面优于 ChatGPT。

    Aug, 2023

  • LiLiuM: eBay 的大型语言模型用于电子商务

    我们介绍了由 LiLiuM 系列构成的大型语言模型（LLMs）：1B、7B 和 13B 参数模型，这些模型完全由 eBay 内部开发，以适应 eBay 在电子商务领域的特定需求，并实现了对模型许可、数据、词汇表和架构的全部控制，使得它们可以用作微调和指导微调的基础模型，消除对外部模型的依赖性。

    Jun, 2024

  • 利用大型语言模型增强电子商务中的产品描述

    该研究通过使用 LLAMA 2.0 7B 语言模型实现自动化产品描述生成，并在实践中证明其在提高电子商务平台搜索功能和销售额方面具有显著商业影响。

    Oct, 2023

  • LLaMA 跨越英语：语言能力转移的实证研究

    我们通过对 LLaMA 的实证研究发现，在使用不到 1% 的预训练数据时，可以实现与最先进的转移模型相媲美的性能，无论是在知识对齐还是响应质量方面，这一实验结果在十三种资源匮乏的语言中也呈现出相似的趋势。预计实验的结论将有助于开发非英语 LLMs。

    Jan, 2024

  • ExpertPrompting：指导大规模语言模型成为卓越专家

    本文介绍了一种使用 ExpertPrompting 技术的方法，通过 In-Context Learning 实现了定制化的指令，并将其用于训练基于 GPT-3.5 的 ExpertLLaMA 模型，实现了与 ChatGPT 相近的对话效果。

    May, 2023

  • 大型语言模型与机器学习在电子商务推荐中的新兴协同效应

    电子商务和网络应用的蓬勃发展使得推荐系统成为我们日常生活中重要的一部分，但是现有基于深度神经网络的方法在理解用户兴趣、捕捉文本信息以及推广到不同场景等方面仍存在限制。近期的研究借助大型语言模型的崛起旨在改进推荐系统，本文系统回顾了已有的大型语言模型驱动的推荐系统，介绍了使用大型语言模型作为特征编码器学习用户和物品表示的方法以及在预训练、微调和提示等三个范式下的最新进展，并对这一新兴领域的未来方向进行了全面的讨论。

    Mar, 2024

  • EcomGPT-CT: 具有半结构化数据的电子商务大型语言模型的连续预训练

    大型语言模型（LLMs）预先训练在海量语料库上，在各种 NLP 任务中展示了出色的性能。本文针对特定领域应用这些模型仍然存在着显著挑战，如缺乏领域知识、有限的领域知识利用能力和不足的领域特定数据格式适应能力。因此，本研究聚焦于以电子商务领域为示例进行面向领域的持续预训练。具体而言，我们探讨了在无标签的一般和电子商务语料库上进行持续预训练对 LLMs 的影响。此外，我们设计了一种混合策略来更好地利用电子商务半结构化数据。我们构建了多个任务来评估 LLMs 在电子商务领域中的少样本上下文学习能力以及经过指令调整后的零样本性能。实验结果证明了电子商务 LLMs 持续预训练的有效性，以及我们设计的数据混合策略的功效。

    Dec, 2023

  • 知识图谱补全模型是少样本学习器：基于 LLMs 的电子商务关系标注的实证研究

    本文通过实证研究发现，大型语言模型在电商知识图谱中的关系标注任务中具有强大的学习能力和预测能力，相比于现有的知识图谱补全模型在关系标注任务上具有更高的竞争力，足以替代人工标注。

    May, 2023