- 蝰蛇作为决策者:探索离线强化学习中的多尺度序列建模
该研究论文借助于 Mamba Decision Maker 对 RL 领域的序列建模能力进行了深入探讨,并为未来鲁棒高效决策系统的进一步发展铺平了道路。
- 跨域顺序推荐中学习部分对齐的物品表示
跨域顺序推荐(CDSR)致力于揭示和转移用户在多个推荐领域中的顺序偏好。本文提出了一种模型不可知的框架 CA-CDSR,通过序列感知生成和自适应部分对齐,实现了跨域项目表示的对齐。经过广泛的实验证明,CA-CDSR 能够显著超越现有的基准, - 借助马尔科夫链的注意力:通过马尔科夫链分析 Transformer 的原则框架
通过马尔可夫链的角度研究变压器的序列建模能力,并在理论和实验上研究数据分布特性、变压器结构、学习分布和模型性能之间的相互作用。
- MoE-Mamba:高效的混合专家选择性状态空间模型
将混合专家模型应用于状态空间模型可显著提高其性能,MoE-Mamba 模型在 2.2 倍的训练步骤下达到与 Mamba 相同的性能,同时保持了 Mamba 模型对 Transformer 的推理性能优势。
- 序列建模为大型视觉模型实现可扩展学习
我们引入了一种新颖的顺序建模方法,可以学习大规模视觉模型(LVM)而无需使用任何语言数据。通过将原始图像、视频以及注解数据源转化为 “视觉句子” 的公共格式,我们可以表示各种视觉数据,并通过训练模型来解决多个视觉任务。
- 通过交替教学减少语言模型中意外记忆
提出了一种新的交替教学方法来减少语言模型在训练集中记忆罕见或独特序列而导致泄漏用户数据的现象,该方法采用多个教师模型对各自独立的训练集进行训练,并以教师模型预测结果作为学生模型的监督信号,实验结果表明这种方法达到了比其他方法更好的隐私保护效 - WSDM基于时间元路径引导的可解释推荐
本文利用注意力机制,沿着连续商品之间的路径进行良好设计的商品 - 商品路径建模,以顺序建模动态知识图上的动态用户 - 商品演变,以获得可解释的推荐。通过对三个真实世界基准数据集上的广泛评估,我们证明了 TMER 相对于最近强基线的最新性能。
- KDD学习可迁移参数以用于长尾顺序用户行为建模
本文针对用户行为模型在面对长尾分布的用户行为数据时表现不佳的问题,提出了一种利用梯度方向信息以及对抗训练进行知识迁移的框架,广泛实验表明该框架明显优于现有基线模型。
- 为下一篮推荐建模个性化物品频率信息
通过对真实数据的分析,我们发现个性化商品频率(PIF)信息对于 Next-basket recommendation(NBR)至关重要,因此我们提出了一种基于最近邻的简单方法,可以直接利用这些关键信号,并通过四个公共真实数据集的评估证明这种 - KDD用于序列推荐的分层门控网络
该研究提出了一种分层门控网络(HGN),与贝叶斯个性化排名(BPR)相结合,用于捕捉长期和短期用户兴趣,实现顶部 N 的顺序推荐,并通过五个真实的数据集进行了广泛评估。
- SIGIR个性化记忆的生命周期序列建模用于用户响应预测
该研究使用分层周期性记忆网络实现在线服务中用户响应预测的持续顺序建模,实现个性化内存化的顺序模式,并在三个大规模真实世界数据集上展示了显著的用户响应预测表现优势。