pretraining data diversity | BriefGPT

关键词pretraining data diversity

搜索结果 - 1

关于自监督学习的预训练数据多样性
增加训练数据集的多样性可以提高自我监督学习的性能，但前提是下游数据的分布差异很小。即使通过网络爬虫或扩散生成的方法等方式实现了非常庞大的预训练数据多样性，分布的变化仍然是一个挑战。
PDF3 months ago