SIGIRMar, 2024

突破长度限制：在长文本用户行为中增强的 LLM 点击率预测

PDF
TL;DR通过提出行为聚合分层编码（BAHE）来提高基于大型语言模型（LLMs）的点击率（CTR）建模的效率，通过利用 LLMs 预训练的浅层获取用户行为的嵌入并与深层进行交互以计算 CTR 得分，从而减少计算复杂性并使 LLMs 实用于工业 CTR 预测。
发现论文，激发创造
  • TBIN：用于 CTR 预测的长文本行为建模

    我们提出了一种基于用户行为文本的兴趣分块网络（TBIN），通过结合高效的局部敏感哈希算法和偏移块自注意力机制来处理先前研究中的限制，从而实现动态激活用户多样化的兴趣，并产生针对目标项目的用户兴趣表达。通过对真实世界食品推荐平台上的离线和在线实验的结果，证明了 TBIN 的有效性。

    Aug, 2023

  • 长序列用户行为对于点击率预测的建模实践

    本研究通过机器学习算法与在线服务系统的共同设计，提出了处理长序列用户行为数据的解决方案，能够有效地处理超过千级的长序列用户行为数据，提升了模型性能和系统效率。

    May, 2019

  • 点击率预测模型中的用户行为端到端检索

    该研究提出了一种叫做 ETA 的局部敏感哈希方法，可以大大降低训练和推理成本，并使得可以使用长期用户行为序列进行端到端训练，以实现更好的点击率预测表现。

    Aug, 2021

  • 点击率预测的用户行为检索

    本论文提出了一种基于数据检索的用户行为检索框架（UBR4CTR），通过可学习的搜索方法从整个用户历史序列中检索出最相关和最适当的用户行为，然后将这些检索到的行为馈入深度模型进行最终预测，该框架能够在低成本下被高度可行地部署到工业模型流水线中，三个实际大规模数据集上的实验证明了该框架的优越性和功效。

    May, 2020

  • 理解、模拟和优化内容和行为的大型内容与行为模型

    在这篇文章中，我们通过将行为标记重新引入到大型语言模型（LLMs）的训练中取得了初步进展，得到的大内容和行为模型（LCBMs）在内容理解、行为模拟、行为理解和行为领域适应等方面表现出广泛的泛化能力。

    Sep, 2023

  • 用户 - LLM: 基于用户嵌入的高效 LLM 语境化

    利用用户嵌入来上下文化大型语言模型，实现显著性能提升。

    Feb, 2024

  • 基于图形的长短期兴趣模型用于点击率预测

    本文提出一种名为 GLSM 的基于图形的长短期兴趣模型，它包含用于捕捉长期用户行为的多兴趣图形结构，用于建模短期信息的多场景异构序列模型以及自适应融合机制来融合长期和短期行为的信息，并在实际应用中展示出了显著的 CTR 和 GMV 提升。

    Jun, 2023

  • MTBRN: 基于多路复用目标 - 行为关系增强网络的点击率预测

    本文提出了一种利用多重关系的点击率（CTR）预测框架（MTBRN）来增强 CTR 预测的方法，并采用各种图形结构（如知识图和商品相似度图）构建多个关系路径。采用 Bi-LSTM 编码每个路径以及路径融合网络和路径激活网络进行适当的聚合和训练以进行 CTR 预测，通过离线和在线的实验进一步表明了 MTBRN 框架的有效性。

    Aug, 2020

  • 通过基于大型语言模型的文本补充和重写增强嵌入性能

    利用大型语言模型丰富和重写输入文本，改善嵌入模型的性能，并在特定领域取得显著改进。

    Apr, 2024

  • 基于图卷积的大型语言模型用于推荐

    利用大型语言模型来改进描述文本的办法受到了研究者的关注，本论文提出了一种基于图卷积的大型语言模型方法，通过捕捉用户 - 物品图中的高阶关系来改进描述文本。在真实世界的数据集上进行了广泛的实验，结果表明我们的方法始终优于现有的最先进方法。

    Feb, 2024