我们提出了一种名为 UniT 的统一 Transformer 模型，该模型可以同时学习不同领域中最重要的任务，从目标检测到自然语言理解和多模态推理，在编码器 - 解码器架构的基础上，通过编码器对每个输入模态进行编码，并使用共享解码器对编码的输入表示进行每个任务的预测，然后是特定于任务的输出头。我们的实验证明，在 8 个数据集上联合学习 7 个任务，使用比以前的工作更少的参数，在每个任务上都获得了强大的性能。

Feb, 2021

传统推荐系统如矩阵分解方法依赖于学习一个共享的稠密嵌入空间来表示物品和用户偏好。最近，序列模型如 RNN、GRU 和 Transformer 在序列推荐任务中也表现出色。研究人员最近开始探索使用在大量文本语料库上预训练的大型语言模型（LLMs）进行序列推荐。为了在序列推荐中使用 LLMs，用户交互的历史记录和模型预测的下一个物品都以文本形式表示。我们提出了 CALRec，一个两阶段的 LLM 微调框架，它使用两种对比损失和语言建模损失在两个塔式结构中微调预训练的 LLM：首先在多个领域的数据混合上微调 LLM，然后进行目标领域的微调。我们的模型显著优于许多最先进的对比方法（在 Recall@1 上增长 37%，在 NDCG@10 上增长 24%），系统的消融研究揭示了（i）两个微调阶段都是至关重要的，在结合起来时我们可以获得更好的性能，以及（ii）目标领域中的对比对齐在我们的实验中是有效的。

May, 2024

本文提出了一种建立长期亲密关系的开放领域长期记忆对话模型框架 UniMC，该模型通过学习相关表示增强了不同任务子模块之间的联系，并通过参数共享和联合训练优化了对话的连贯性和魅力。

Jun, 2023

本文介绍了一种新的统一预训练语言模型 (UniLM)，该模型可用于自然语言理解和生成任务，使用了三种类型的语言建模任务进行预训练，采用共享 Transformer 网络和特定的自我注意掩码来控制预测条件的上下文，其在自然语言生成方面的表现优于 BERT，最终达到了五种自然语言生成数据集的最新最优成果。

May, 2019

UniRec 是一个新颖的双向增强顺序推荐方法，利用序列一致性和物品频率来提高性能，特别是在表示不均匀序列和低频物品方面；与其他先进模型相比，在四个数据集上表现显著优越。

Jun, 2024

本文探讨了自然语言处理中的迁移学习技术，提出了一个统一的框架来解决所有基于文本的问题，比较了预训练目标、架构、数据集等因素对于各种语言理解任务的影响，并通过实验与新数据集达到了最先进的结果，并共享了数据集、预训练模型和代码，以促进未来的 NLP 迁移学习研究。

Oct, 2019

将无监督预训练应用于语言理解，在语音和文本之间建立单一模型，包括 BERT 目标和 w2v-BERT 目标以及其他预训练技术改进，同时在 GLUE 任务中也取得了不俗的竞争力。

Oct, 2021

CoTexT 是一种预先训练的基于 Transformer 的编码器 - 解码器模型，用于学习自然语言与编程语言之间的代表性上下文，支持下游自然语言 - 编程语言任务，如代码概述 / 文档化，代码生成，缺陷检测和代码调试，并在 CodeXGlue 数据集中取得 SOTA 结果。

May, 2021

通过联合学习视觉和语言的表示，Unicoder-VL 提供了一个通用编码器，采用多任务交叉训练，包括掩码语言建模，掩码对象分类和视觉语言匹配等。在大规模图像字幕预训练之后，Unicoder-VL 可用于基于字幕的图像文本检索和视觉常识推理，取得了领先或可比的结果，展示了交叉模态预训练的强大能力。

Aug, 2019

通过模型对用户 - 商品的互动矩阵进行建模，并提出了一个修正双向偏差的损失函数，我们提出了一个统一的用户 - 商品匹配框架，以实现商品推荐和用户定位，深度减少了计算资源和日常维护成本，从而证明了我们的框架相对于现有方法的显著性能提升。

Jul, 2023