May, 2023
INGENIOUS: 使用信息丰富的数据子集高效预训练大型语言模型
INGENIOUS: Using Informative Data Subsets for Efficient Pre-Training of
Large Language Models
H S V N S Kowndinya Renduchintala, Krishnateja Killamsetty, Sumit Bhatia, Milan Aggarwal, Ganesh Ramakrishnan...
TL;DR通过使用具有高度信息量的训练数据子集训练预训练语言模型，同时保持下游性能，我们展示了如何利用子模块优化来选择高度代表性的训练语料库子集，以有效地训练多个预训练语言模型。