May, 2024

时间的重要性：通过强大的用户停留时间注入来增强预训练新闻推荐模型

PDF
TL;DR该论文提出了两种新的可靠的停留时间注入策略，即停留时间权重（DweW）和停留时间感知（DweA），通过对停留时间的详细分析，改进了有效用户点击，并结合初始行为输入构建了更可靠的用户偏好，从而增强了模型准确识别用户偏好的能力。在使用 MSN 网站的真实新闻数据集的实验中，验证了我们的两种策略显著提高了推荐性能，偏好高质量新闻。关键是，我们的方法对用户停留时间信息具有健壮性，即使在停留时间数据完全丢失的极端情况下，仍能推荐高质量内容。
large language modelsnews recommendation modelsmulti-head attentionuser dwell timerecommendation performance
发现论文，激发创造
  • 用于对话建模的动态上下文敏感时间衰减注意力

    该论文探讨了如何将历史信息中的时间信息与内容信息相结合，并提出采用基于时间衰减的注意力机制来实现上下文敏感的口语理解。实验表明，所提出的机制在处理复杂对话上具有很强的灵活性和鲁棒性，并在 Dialogue State Tracking Challenge 数据集上取得了显著的性能提升。

    Sep, 2018

  • 驻足于起始处：语言模型如何嵌入长篇文档以进行稠密检索

    这项研究调查了 Transformer-based 模型在文本表征学习中的位置偏差存在情况，特别是在网络文档检索的背景下。我们基于先前研究的基础上，拓展了关于因果性语言模型输入序列中信息丢失的问题，将其应用于表征学习领域。我们在编码器 - 解码器模型的各个训练阶段，包括语言模型预训练、对比度预训练和对比度微调中，研究了位置偏差。通过对 MS-MARCO 文档集的实验发现，在对比度预训练之后，该模型已经生成了能够更好地捕捉输入早期内容的嵌入向量，而微调进一步加剧了这种效果。

    Apr, 2024

  • FeedRec: 利用各种用户反馈的新闻推荐

    为了提高新闻推荐的用户兴趣模型和模型训练的效果，我们提出了一种利用各种用户反馈的统一用户建模框架，并采用强到弱的注意力网络来提炼正负用户兴趣，以及采用多反馈模型训练框架来学习关注度感知的新闻推荐模型。

    Feb, 2021

  • 通过大型语言模型检测标题党

    本研究旨在研究大语言模型是否适用于高质量的点击诱饵检测系统，并通过在多个英文和中文基准数据集上进行的实验结果表明，LLMs 不能实现与最先进的深度微调方式相比的最佳结果，对于检测点击诱饵文本，仅仅使用标题是不够的。

    Jun, 2023

  • 在线展示广告的基于时间感知的用户前瞻性建模

    通过跟踪用户活动和设计强大的模型来获取转化意向的隐含信号，从而提高预测概率的可靠性和精度，并增加对信号影响的可解释性。

    Nov, 2019

  • 基于时间建模的混合模型用于顺序推荐系统

    本文介绍了基于深度学习的推荐系统方法，特别是基于循环神经网络、transformers 和 attention 机制的方法。通过多次实验和改进 Neural Attentive Recommendation Machine (NARM)，我们的研究表明优化后的 NARM 是所有现有基准方法中表现最好的。

    Mar, 2021

  • 基于预训练语言模型的社交媒体时间感知话题识别：以电动汽车为例的案例研究

    本研究提出了一种基于预训练语言模型的时序话题识别方法，采用 reddit 电动汽车数据进行实证分析，证明了从海量社交媒体中以时序方式捕获新出现话题的可行性。

    Oct, 2022

  • ZzzGPT: 提升睡眠质量的交互式 GPT 方法

    本文通过引入基于大型语言模型（LLM）的两阶段框架，结合 GLOBEM 数据集和 XGBoost 等模型，研究技术在理解睡眠模式方面的作用，以提供准确的睡眠预测和可行的反馈，从而改善智能可穿戴设备在睡眠监测中用户的参与度。

    Oct, 2023

  • 权重学习：一种针对广告检索的代价敏感方法

    本文研究基于点击数据的检索模型，探讨在训练集中引入或忽略长尾查询 - 文档对的影响，提出了一种基于加权的策略用于学习长尾语义表示，并在必应赞助搜索和亚马逊产品推荐上进行实验。在线 A/B 测试结果显示，相比于不加权模型，点击率提高了 11.8％，反弹率降低了 8.2％，同时在亚马逊产品推荐数据上也略有提高。

    Nov, 2018

  • TimeLMs: 从 Twitter 构建历时语言模型

    本文介绍了 TimeLMs，这是一组针对历时推特数据的语言模型。采用持续学习策略，增强了其处理未来和分布外推特以及应对特定命名实体和概念漂移等方面的能力，使其与标准和更加单一的基准模型相竞争。

    Feb, 2022