Aug, 2023

ConvFormer：重新审视用于顺序用户建模的 Transformer

PDF
TL;DR用户行为序列模型是个性化推荐系统中的关键任务之一，本文通过重新审视 Transformer-like 架构，并引入 ConvFormer，提出了三个设定高效的序贯用户模型的关键准则，从而取得了最先进的结果。
sequential user modelingtransformer-based modelsconvformeruser behavior sequencesstate-of-the-art performance
发现论文，激发创造
  • 高效 Transformer：综述

    本研究总结了多个领域的最新端到端基于 Transformer 模型的 X-former 模型，强调了计算和内存效率

    Sep, 2020

  • PinnerFormer: Pinterest 用户表示的序列建模

    介绍了一种新的基于序列模型的用户表示方式 PinnerFormer，使用全动作密集损失模拟未来长期行为，能够显著提高用户保留率和参与度，已在 2021 年秋季投入实际生产。

    May, 2022

  • ConvFormer: 利用动态多头卷积注意力实现 Transformer 模型的参数减少，用于 3D 人体姿势估计

    本文提出了 ConvFormer：一种新型的卷积变压器，新增了一种动态的多头卷积自注意机制用于单目 3D 人体姿势估计。通过对人体各关节点之间的关系进行建模，利用时间关节特征的新概念进行完全的时间信息融合，成功地在三个基准数据集上实现了 SOTA 水平的结果，相对于以前的变压器模型取得了显著的参数降低。

    Apr, 2023

  • 通过卷积序列嵌入进行个性化 Top-N 顺序推荐

    本文介绍了一种卷积序列嵌入推荐模型（Caser），它使用卷积过滤器将一系列最近的物品嵌入到时间和潜在空间中的 “图像” 中，并学习局部特征作为连续模式，这种方法为捕获一般偏好和连续模式提供了统一和灵活的网络结构。实验显示，Caser 在各种常见评估指标上始终优于最先进的连续推荐方法。

    Sep, 2018

  • ConvFormer: 提升医学图像分割的即插即用卷积神经网络模型

    通过构建 CNN 式 Transformer（ConvFormer）来提升更好的注意力收敛，从而获得更好的分割性能。

    Sep, 2023

  • 应用注意力机制的 Transformer 模型进行下一帧和时间序列预测

    测试和评估在时间序列数据上应用 Transformer 模型的有效性，通过调整超参数、预处理数据、应用降维或卷积编码等方式来解决异常检测、上下文感知和空间复杂性问题，同时探索修改现有解决方案以实现更高性能和学习广义知识的方法。

    Aug, 2021

  • 基于双向 Transformer 的对比学习用于序列推荐

    本文提出了一种新框架，使用双向 Transformer 进行对比学习，针对顺序推荐中用户行为不是严格的从左到右顺序这一问题进行改进，同时采用滑动窗口技术，结合 Cloze 任务掩码和 Dropout 掩码来生成高质量正样本，并进行多对比学习，通过实验结果表明，相较于传统单一对比学习，该框架表现更优越。

    Aug, 2022

  • 序列决策的大规模序列模型：一项调查

    该论文综述了基于 Transformer 的序列模型在解决序列决策问题、加强学习等方面的应用，分类讨论了不同的应用方式，并提出了未来研究的潜在方向，包括理论基础、网络架构、算法和高效训练系统。

    Jun, 2023

  • 在基于社交推荐项目中利用 Transformer 层改进图卷积网络

    该研究通过引入多层 transformer 架构对 GCN 进行改进，重点集中于节点嵌入的编码器架构，利用注意力机制重新排列特征空间以获得更高效的下游任务嵌入，实验证明所提出的架构在传统链接预测任务上表现更好。

    Jan, 2024

  • ConvTransformer: 用于视频帧合成的卷积变换器网络

    本文提出了一种名为 ConvTransformer 的深层卷积神经网络结构，通过注意力机制学习序列数据之间的依赖关系，用于视频帧合成，相较于传统的卷积 LSTM 方法可实现更好的并行计算效果。

    Nov, 2020