本文提出了 “联合预训练和本地重新训练” 框架，用于学习和应用多源知识图谱嵌入。旨在利用不同的知识图谱，改善知识图谱嵌入和下游任务。通过实体对齐构建链接的子图，通过三级知识蒸馏进行重新训练，实现知识的传递，生成更具表现力的嵌入。该框架在广泛实验中证明了其有效性和效率。

Jun, 2023

提出了一种交叉任务知识蒸馏框架，通过引入辅助任务和校准蒸馏方法，解决了多任务学习中涉及的任务冲突、不一致和同步优化的问题，在实现细粒度推荐、跨任务知识转移等方面有显著效果。

Feb, 2022

本文提出了一种利用用户在其他领域的交互信息以及外部知识图谱的思想来改进新领域推荐的方法，并在虚拟助手应用程序中的三个领域（视频、音乐和图书）的大量用户请求的数据集上证明了该方法的优势。

Jun, 2023

通过跨领域知识转移来减少领域知识不足的影响，结合半监督学习及大量无监督数据，提高机器学习任务的性能以实现自动决策

Apr, 2023

本研究提出一个基于神经网络的转移学习方法，通过引入 CoNet（协作交叉网络）来实现跨领域推荐，其中隐藏层连接的交叉映射使增加了双向知识转移能力，模型在两个大型真实世界数据集上进行了广泛评估，并相对于基准模型提高了 7.84％的精度，同时证明了选择适当的特征表示对性能至关重要。

Apr, 2018

本文介绍了一种名为 DCKT 的深度跨媒体知识转移方法，通过两级转移架构和渐进式转移机制，将大规模跨媒体数据中的知识转移到小规模跨媒体数据中，从而提高了跨媒体检索的准确性。实验证明 DCKT 取得了良好的检索精度提升。

Mar, 2018

在大规模工业电子商务中，强调在线推荐系统的效率对于传递与多样化业务场景相关的高度相关的物品 / 内容广告至关重要。然而，现有研究大多专注于物品广告而忽视了内容广告的重要性，导致多实体结构内的不一致性和不公平检索。本文提出了一种能够解决这些问题的统一在线前 k 推荐的鲁棒表示学习方法，该方法构建了实体空间内的统一建模来确保数据的公平性。通过域对抗学习和多视图 Wasserstein 分布学习来学习鲁棒表示，同时通过同方差权重和正交约束来平衡冲突目标。各种实验证实了我们提出的方法的有效性和合理性，并在实际业务场景中成功部署。

Oct, 2023

本文提出了一种有效的预训练方法，用于从非结构化文本中提取的事实的规范化和非规范化知识库，通过小数据集上实验证明其相对于已有方法的改进，不依赖于大型预先训练的模型（如 BERT）

Aug, 2021

在跨领域模型压缩方面，我们提出了一种新颖的端到端框架，称为 Universal and joint knowledge distillation (UNI-KD)，通过对抗学习方案将源域和目标域之间的通用特征级知识和共享的对数级知识从教师模型传递给学生模型，实现了模型的压缩。在四个时间序列数据集上进行的广泛实验结果表明，我们提出的方法优于最先进的基准模型。

Jul, 2023

我们提出了一个名为 MuDoK 的框架，实现了多领域协同预训练和高效前缀提示调整，以服务于推荐和文本理解等多样化的下游任务。我们构建了一个新的多领域知识图谱预训练基准，名为 KPI，用于评估我们的方法，并开源以供后续研究。实验结果表明，我们的框架在异构下游任务中带来了显著的性能提升，同时具有普适性、高效性和可迁移性。

May, 2024