Mar, 2022
AEC 领域通用信息检索任务的预训练领域特定语言模型
Pretrained Domain-Specific Language Model for General Information Retrieval Tasks in the AEC Domain
Zhe Zheng, Xin-Zheng Lu, Ke-Yin Chen, Yu-Cheng Zhou, Jia-Rui Lin
TL;DR这项研究系统地探索了领域专用语料库和各种迁移学习技术对信息检索任务的深度学习模型性能的影响,并提出了一个用于建筑、工程和建筑(AEC)领域的预训练领域专用语言模型。BERT 模型在所有 IR 任务中的表现明显优于传统方法,在 F1 得分中的最大改进分别为 5.4%和 10.1%。