多任务推荐中的跨任务知识蒸馏

AAAIFeb, 2022

Cross-Task Knowledge Distillation in Multi-Task Recommendation

Chenxiao Yang, Junwei Pan, Xiaofeng Gao, Tingyu Jiang, Dapeng Liu...

TL;DR提出了一种交叉任务知识蒸馏框架，通过引入辅助任务和校准蒸馏方法，解决了多任务学习中涉及的任务冲突、不一致和同步优化的问题，在实现细粒度推荐、跨任务知识转移等方面有显著效果。

Abstract

multi-task learning (MTL) has been widely used in recommender systems, wherein predicting each type of user feedback on items (e.g, click, purchase) are treated as individual tasks and jointly trained with a unified model. Our key observation is that the prediction results of each task

multi-task learning recommendation systems knowledge distillation fine-grained preferences synchronous optimization

发现论文，激发创造

多任务学习的知识蒸馏

本文提出了一种基于知识蒸馏的多任务学习方法。通过先学习任务特定的模型，再学习多任务模型，该方法可以解决多任务学习中的不平衡问题，以实现更好的整体性能。

Jul, 2020

异步多任务学习

本文提出了一种分布式和异步优化的多任务学习框架，该框架能够有效地解决数据存储在不同地点时的挑战，同时能够提高多任务学习模型的泛化性能。实证研究表明本文提出的方法在合成和实际数据集上均表现出高效和有效的性能。

Sep, 2016

MKD：一种预训练语言模型的多任务知识蒸馏方法

本文提出了一种基于多任务学习的知识蒸馏方法，用于训练轻量级的预训练模型，该方法适用于不同的教师模型体系结构，并且相较于传统上基于 LSTM 的方法，具有更好的语言表达能力和更快的推理速度。

Nov, 2019

持续学习自然语言新任务中预防灾难性遗忘

该论文提出了一种基于知识蒸馏的增量学习方法，利用未标记数据避免灾难性遗忘，该方法在公开基准测试中表现出显著的效果，能够保存已获取的知识，并对增量添加的任务获得良好的性能。

Feb, 2023

多任务学习调查

本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

Jul, 2017

自适应多教师多层级知识蒸馏

我们提出了基于多教师多层知识蒸馏学习框架的自适应学习方法，该方法通过将每个教师与潜在表示相关联，自适应地学习实例级教师重要性权重，从而获取集成的高级知识，并通过多组提示策略从多个教师处汇集中间级知识。实验表明，该方法确保学生比强竞争者取得了更好的性能。

Mar, 2021

多任务学习中的分布匹配：在人脸及其他任务上的大规模研究

挑战现有多任务学习 (MTL) 框架，提出新方法通过分布匹配实现任务间的知识交流，证明少量注释或非重叠注释情况下的 MTL 仍能成功，且在各个领域的案例研究中均带来了较大的性能提升。

Jan, 2024

密集预测任务的多任务学习：综述

本文综述了当前深度学习在计算机视觉中的多任务学习领域的最新研究进展，主要关注密集预测任务，从网络架构和优化方法两个角度进行了阐述和总结，旨在探讨多任务共享表示学习的优势和局限性。

Apr, 2020

知识组装：使用不相交标签的多个数据集进行半监督多任务学习

本文介绍了一种利用半监督学习思想，采用知识组装 (Knowledge Assembly) 方法，为只有部分标注的多任务学习 (Multi-Task Learning) 模型提供训练。文章在联合学习行人再识别 (Person Re-Identification) 和行人属性识别 (Pedestrian Attribute Recognition) 任务中，优于单一任务的完全监督性能。

Jun, 2023

异质多任务学习的分布匹配：一项大规模人脸研究

本文提出了一种基于分布匹配的方法，将多个任务进行弱监督的共同训练，建立了第一个全面学习面部行为的框架 FaceBehaviorNet，并利用该框架进行了零 / 少样本学习，实现了好于现有方法的效果。

May, 2021