multi-task pre-training | BriefGPT

关键词multi-task pre-training

搜索结果 - 5

多任务媒体偏见分析泛化预训练的表达式识别
MAGPIE 是第一个专门针对媒体偏见检测的大规模多任务预训练方法，通过提出 Large Bias Mixture (LBM)，编制了 59 个与偏见相关的任务。实验证明，MAGPIE 在 Bias Annotation By Expert
PDF4 months ago
UniPCM：具备任务感知自动提示的通用预训练对话模型
使用任务驱动的自动提示生成（TAP）生成高质量提示来扩展预先训练的会话模型的数据集，从而构建了适用于各种对话任务和不同对话系统的通用会话预训练模型（UniPCM），该模型表现出强鲁棒性、卓越的迁移能力，可在低资源场景下实现九个不同数据集上的
PDF10 months ago
MelodyGLM：多任务符号化旋律生成的预训练
该研究提出了 MelodyGLM，一个多任务预训练框架，用于生成带有长期结构的旋律。研究使用 melodic n-gram 和长跨度抽样策略来创建本地和全局填充任务，以建模旋律中的本地和全局结构。研究还构建了一个包含超过 40 万旋律片段的
PDF10 months ago
情感导向的自动语音识别预训练，增强语音情感识别
提出了一种新颖的多任务预训练方法，用于语音情感识别，在同时进行自动语音识别和情感分类任务的情况下对 SER 模型进行预训练，生成目标情感分类的方法，通过公开数据训练的文本情感模型，将声学 ASR 模型更加 “情感感知”，最终在情感注释语音数
PDF2 years ago
CPT：一个针对汉语语言理解和生成的预训练不平衡 Transformer
本文介绍了一种新型的中文预训练不平衡变压器（CPT），通过使用自然语言理解（NLU）和自然语言生成（NLG）之间的共享知识来提高性能，结合具有共享编码器的两个特定的解码器以及多任务预训练，CPT 能够学习与 NLU 或 NLG 任务相关的特
PDF3 years ago