关键词domain-adaptive pre-training
搜索结果 - 6
- FDAPT：面向领域自适应的联邦预训练语言模型
本文首次全面实证研究，将域自适应预训练 (DAPT) 与联邦学习 (FL) 结合，可以在保护数据隐私的同时，通过利用更敏感和分布式的数据来增强模型适应性。我们提出一种新的算法，Frozen Federated Domain-adaptive - EMNLP在保留通用知识的同时调整语言模型
本文提出了一种新的领域适应预训练方法，通过软遮罩注意力头并对一般和完全表示进行对比学习，以更智能的方式对 LM 中的知识进行适应，实验结果表明了该方法的有效性。
- Fisher 加权平均合并模型
本研究提出了 Fisher 合并方法用于模型合并，与标准梯度传递学习方法相比，Fisher 合并可以在中间任务训练和领域自适配预训练方面提供一种基本不同的能力转移方法，同时成本更低，并且同时能够实现以前未曾探索的模型组合方式。
- AAAICrossNER: 跨领域命名实体识别的评估
为了解决交叉域命名实体识别 (NER) 任务中样本少的问题，作者提出了一个跨领域 NER 数据集 CrossNER, 进行了一系列实验来探索利用不同级别的领域语料库和预训练策略进行域自适应预训练的有效性，研究表明利用包含领域特定实体的分数语 - ST-BERT：跨模态语言模型预训练用于端到端口语理解
本文介绍了一种跨模态预训练语言模型 ——Speech-Text BERT（ST-BERT），通过两种预训练任务（Cross-modal Masked Language Modeling and Cross-modal Conditioned - ACL通过阅读实体描述进行零样本实体链接
本研究提出了零样本实体链接任务，通过大规模无标记数据预训练的强阅读理解模型与适应性预训练策略，成功实现了无先验标注数据的实体链接，并在新数据集上获得了比 BERT 等强预训练模型更好的表现。