pre-training models | BriefGPT

关键词pre-training models

搜索结果 - 28

ACLMusicBERT: 基于大规模预训练的符号音乐理解
本文介绍了如何用预训练模型 MusicBERT 进行符号音乐理解，并讨论了其中涉及的关键技术，包括 OctupleMIDI 编码和小节层面的掩蔽策略。实验证明，MusicBERT 在旋律完成、伴奏建议、流派、和风格分类等四项任务中具有优越性
PDF3 years ago
优化语句表示以提升语义和检索速度
本文发现传统机器学习中的白化操作同样可以增强句子表示的等向性并取得较为显著的性能提升，同时可以减少句子表示的存储成本和加速模型检索速度。
PDF3 years ago
LRC-BERT：用于自然语言理解的潜在表示对比知识蒸馏
本文提出了一种基于对比学习的知识蒸馏方法 LRC-BERT，并引入渐变扰动训练架构以提高其鲁棒性。通过验证 GLUE 基准测试上的 8 个数据集，表明该方法的性能优于现有最先进的方法，证明了该方法的有效性。
PDF4 years ago
基于自监督范式的有限标记样本遥感图像场景分类
通过自监督学习机制，利用未标记的大规模遥感图像数据进行预训练，提高了远程传感器图像场景分类任务的性能，与传统的以 Imagenet 为代表的方法相比表现更佳。同时，研究了多个影响自监督学习的因素，这些研究成果对遥感领域中 SSL 技术的发展
PDF4 years ago
深度神经网络数字病理学多任务预训练
本研究中，我们探讨了多任务学习作为预训练模型用于数字病理分类任务的方法，通过构建 22 个分类任务和近 900k 图像的资源池并使用简单结构和训练策略创建了可转移模型，并提出了一个稳健的模型选优协议，根据目标任务，我们展示了使用我们模型作为
PDF4 years ago
MPNet：掩码及排列预训练语言理解模型
本文提出一种新型的预训练方法 MPNet，它继承了 BERT 和 XLNet 的优点，通过排列语言建模和输入附加的位置信息来解决它们的缺点，有效地提高了 GLUE、SQuAD 等下游任务的精度，并与之前的最先进的预训练方法（例如 BERT、
PDF4 years ago
ACL用未标记的转移数据将 BERT 蒸馏为简单的神经网络
该研究论文针对知识蒸馏在自然语言处理中预训练模型所遇到的问题，探讨利用领域内未标记的数据、有限的已标记数据和基于简单 RNN 模型的硬蒸馏方法解决师生模型间性能差异的问题。实验结果表明，使用软蒸馏和利用教师模型的中间表示，学生模型的性能可以
PDF5 years ago
AAAIERNIE 2.0：面向语言理解的持续预训练框架
提出一种名为 ERNIE 2.0 的持续预训练框架，通过不断的多任务学习构建和学习预训练任务，以从训练语料库中提取词汇、句法和语义信息。实验结果表明，在包括 GLUE 基准测试中的 16 个任务（包括英文任务和中文中的几个常见任务）中，ER
PDF5 years ago