KDDJun, 2021

多目标用户档案建模的虚拟核心专家混合方法

PDF
TL;DR本文介绍了一种多任务模型（MVKE）来统一学习用户对不同类型行为和主题的偏好，其中使用 Virtual-Kernel Expert 来模拟用户偏好的不同方面，并且模型通过门控技术建立两个模型之间的信息融合，提高了模型的性能和效率。实验表明，MVKE 方法在腾讯广告系统中相比现有算法具有明显的提升，提高了实际广告收入。
deep learninguser profilesctrcvrmulti-task model
发现论文，激发创造
  • 深层专家混合模型中的因子表示学习

    本文扩展了专家集成模型，提出了深度专家集成模型，该模型利用多组门和专家实现了输入空间的多重化，同时保持了小型化规模，在 MNIST 数据集和语音单音素数据集上的实验结果表明，该模型能够自动发现局部化的位置相关专家和类别相关专家，并有效地使用所有专家组合。

    Dec, 2013

  • 多模式深度生成模型的变分混合专家自编码器

    本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

    Nov, 2019

  • 基于对比学习的注意力加权专家混合模型在电子商务个性化排序中的应用

    该研究提出了一种基于 MoE 框架和对比学习的个性化排序方法 AW-MoE，能够有效地处理长尾用户和不同用户的个性化特征交互，并在真实的京东数据以及公共数据集上验证了其有效性和优越性。

    Jun, 2023

  • 多视角交互式协同过滤

    本研究提出了一种名为 MV-ICTR 的推荐算法，能够同时处理评分和背景信息，利用潜在因子对物品依赖特征进行建模，并采用多臂赌博策略进行长期在线个性化推荐，适用于冷启动用户和物品占比高的数据集，提高了推荐性能。

    May, 2023

  • 多任务推荐中的跨任务知识蒸馏

    提出了一种交叉任务知识蒸馏框架，通过引入辅助任务和校准蒸馏方法，解决了多任务学习中涉及的任务冲突、不一致和同步优化的问题，在实现细粒度推荐、跨任务知识转移等方面有显著效果。

    Feb, 2022

  • KDExplainer: 一种用于解释知识蒸馏的面向任务的注意力模型

    本文介绍一种名为 KDExplainer 的新颖任务定向的注意力模型，通过从预训练的自由形式的 DNN 中提炼出知识，我们发现知识蒸馏隐含地调节不同子任务之间的知识冲突，并在不需要过多成本的情况下，将虚拟注意模块（VAM）与各种 DNN 无缝集成以提高它们在知识蒸馏下的性能，结果显示使用 VAM 的学生模型在不同的基准测试中一致优于其无 VAM 对应物。

    May, 2021

  • 基于人类专业知识的可解释模型：优先采用专家混合模式

    提出了一种名为 Preferential MoE 的人类 - 机器学习混合专家模型，它可以根据决策中有无人类专家经验的必要性，在需要时对数据分类器进行增强。该模型展示了可解释的门控函数，提供何时遵循或避免人类规则的信息。提出了解决具有凸次问题的耦合多目标问题。提出近似算法并研究其性能和收敛性。最后，我们演示了 Preferential MoE 在治疗人类免疫缺陷病毒（HIV）和管理重度抑郁症（MDD）的两个临床应用中的实用性。

    Jan, 2021

  • Tmall 多兴趣网络动态路由推荐

    本文提出了一种名为 MIND 的新颖模型，通过多向量编码用户多样的兴趣来解决工业推荐系统中的候选物品匹配和排序问题，并通过对公共基准数据集和天猫的大规模产业数据集进行广泛实验，证明了 MIND 的出色性能。

    Apr, 2019

  • 异质多任务学习与专家多样性

    提出了一种名为 MMoEEx 的多门分层专家模型用于解决多任务学习（MTL）中的挑战，旨在优化单个模型以同时预测具有不同特征的多个任务，我们采用了一种方法来引入专家间的多样性，以创造更适合高度不平衡和异构 MTL 学习的表示，并采用两步优化方法在梯度水平上平衡任务。

    Jun, 2021

  • 稀疏激活的专家混合模型是具有鲁棒性的多任务学习器

    使用稀疏激活的专家混合模型和任务感知门控函数结合的多任务学习方法，成功地提高了模型泛化能力、转移学习效果和鲁棒性。

    Apr, 2022