Oct, 2022

MemoNet: 多哈希码本网络高效记忆所有交叉特征的表示以预测 CTR

PDF
TL;DR本文提出了一个名为 multi-Hash Codebook NETwork（HCNet）的独立记忆机制，用于在 CTR 任务中有效地学习和记忆所有交叉特征的表示。HCNet 可以被看作是一个通用模块，并且可以与任何当前的深度 CTR 模型相结合。结合 HCNet 和 DNN 骨干的新 CTR 模型名为 MemoNet。实验结果表明，MemoNet 在三个公共数据集上实现了优越的表现，并验证了 HCNet 作为强大内存模块的有效性。此外，MemoNet 还展示了 NLP 中大模型的显着特征，这意味着我们可以扩大 HCNet 中的码库大小以持续获得性能提升。
natural language processingctr ranking modelmulti-hash codebook networkmemory mechanismmemonet
发现论文，激发创造
  • 深度多表示模型用于点击率预测

    本研究提出 Deep Multi-Representation (DeepMR) 模型，通过联合训练 DNN 和多头自注意力这两种功能强大的特征表示学习组件，以及使用零初始化的残差连接（ReZero）来提高输入表示的性能，在三个真实数据集上的 CTR 预测任务中超越了所有现有的最先进模型。

    Oct, 2022

  • 用户记忆网络预测点击率

    提出了一种实用的 CTR 预测模型 —— 记忆增强型 DNN，该模型通过创建两个外部记忆向量来记住每个用户的历史行为信息，并取得了在离线和在线实验中都表现出良好的绩效。

    Jul, 2019

  • CL4CTR: 用于 CTR 预测的对比学习框架

    本文提出了一种基于自监督学习的 Click-Through Rate (CTR) 预测框架 (CL4CTR)，采用三种自监督学习信号作为特征表征学习的正则化项以提高 CTR 预测性能，并在四个数据集上实验证明其与各种代表性基线相比具有卓越的性能和兼容性。

    Dec, 2022

  • 基于表示学习的点击率预测

    DeepMCP 模型基于匹配、关联和预测三个子网络，可以更准确地预测在线广告系统中的 CTR，并在两个大型数据集上优于现有的人工智能模型。

    Jun, 2019

  • 高维鲁棒性记忆增强神经网络

    该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

    Oct, 2020

  • 记忆 Transformer

    本文介绍了一种使用内部储存器实现直接读取并记忆新数据的语言模型，在多个基准测试和任务中展示了近似 kNN 查找技术，着重测试了代码和数学等领域，并证明了随着储存器大小的增加，性能将稳步提高。

    Mar, 2022

  • 合作记忆网络用于推荐系统

    本文章提出了一种名为 Collaborative Memory Networks (CMN) 的深度神经网络，可以有效地结合 latent factor model 和 local neighborhood-based structure，而不是单纯地使用 latent factor model，以提高协同过滤推荐系统的精度和效率。实验结果表明，CMN 在三个公共数据集上优于竞争基线。

    Apr, 2018

  • 具有对比翻译记忆的神经机器翻译

    本文提出了一种新的检索增强 NMT 模型，用于对比检索翻译记忆，利用 Hierarchical Group Attention 模块和 Multi-TM contrastive learning 目标函数增加多层面信息收益，实验结果表明，该模型在基准数据集上优于现有算法。

    Dec, 2022

  • MemNet: 一种用于图像恢复的持久性记忆网络

    本研究提出了一种深度递归网络模型，即 MemNet，用于图像去噪、超分辨率和 JPEG 去块等图像恢复应用，该模型使用适应性学习过程明确挖掘不变性和连续性，具有优异的性能表现。

    Aug, 2017

  • 临床诊断推理的压缩记忆网络

    通过利用维基百科作为知识源，提出了一种使用电子健康记录中记录的自由文本医疗笔记进行医学诊断的新模型 —— 紧凑记忆神经网络（C-MemNNs）。在 MIMIC-III 数据集上的实验证明，该模型是预测复杂临床场景下最可能诊断的最佳选择之一。

    Dec, 2016