Feb, 2023

通过预训练边缘变压器在在线游戏中进行好友召回

PDF
TL;DR本研究提出了一种使用功能和历史事件信息的链接预测方法来解决腾讯游戏中的好友召回问题，并通过 Edge Transformer 模型的预训练，在三个 Tencent 游戏的离线实验和在线 A/B 测试中取得了最先进的结果。
发现论文，激发创造
  • 使用预训练转换器的连续主动学习

    研究探讨使用基于 transformer 的模型如何提升高召回率信息检索的搜索性能，提出了可基于相关反馈进行持续 fine-tune 的 CALBERT 模型。

    Aug, 2022

  • 面向新闻推荐的图增强表示学习

    该论文提出了一种基于图注意机制和变压器结构的新闻推荐方法，可以通过对历史用户点击行为的图谱表达用户和新闻相关性，进而学习用户和新闻的表征，实现个性化推荐。

    Mar, 2020

  • 扩展心智转换器

    预训练语言模型在推理时过长的输入会迅速成为记忆信息的瓶颈。本文提出了一种简单的方法，使用记忆转换器给模型提供预先计算的记忆库，通过批判性评估定位编码应如何更新以检索关键信息，而非使用外部嵌入。我们展示了在大多数解码器层中检索外部信息的重要性，并公开了一个新的反事实长距离检索基准。实验证明，扩展心智转换器在平均性能上超过了当今的最先进水平。

    Jun, 2024

  • 具有 Transformer 的内存高效的持续学习

    使用预训练 Transformers 并扩展它们与 Adapters，我们开发了一种方法来增量训练模型处理任务序列，成功地避免了灾难性遗忘并且在多个任务上表现良好。

    Mar, 2022

  • 多游戏决策转换器

    本研究探讨了采用 transformer-based model 方法训练的多用途强化学习代理程序在 Atari 游戏中的表现，发现使用 Multi-Game Decision Transformer 模型的性能和可伸缩性最佳，并提供预训练模型和代码以鼓励该方向的进一步研究。

    May, 2022

  • 基于嵌入式大规模检索的预训练任务

    本文研究基于嵌入的检索模型，并探究对段落级别的预训练任务在训练强大的嵌入式 Transformer 模型上的关键作用。

    Feb, 2020

  • 用户画像识别和新服务适配推荐

    基于高维度轨迹信息，我们通过使用 SessionBERT 方法来识别用户画像，提供个性化的网页用户体验和推荐服务。

    Nov, 2023

  • 深思熟虑：带有内部工作记忆的决策 Transformer

    本文提出了一种基于内部工作记忆模块的决策制定代理，可以通过存储、混合和检索信息来改善其在不同下游任务中的训练效率和泛化能力，并进一步证明记忆微调可以增强所提出架构的适应性。

    May, 2023

  • 记忆增强生成对抗变换器

    本研究探讨了在 Transformers 基础上添加额外的记忆库和注意力层以解决生成语言中的外部数据整合问题，并展示了该方法在处理事实问题和风格适应应用中的实用性。

    Feb, 2024

  • 用于对话建模的状态性记忆增强变压器

    本研究提出一种新的记忆增强型 Transformer 模型，该模型可在不影响对话历史信息的情况下适应长序列处理，并且在相对于其他预训练 Transformer 模型存在着更高的效率和性能。

    Sep, 2022