Oct, 2022
ContraGen:用于因果语言模型的有效对比学习
ContraGen: Effective Contrastive Learning For Causal Language Model
Nihal Jain, Dejiao Zhang, Wasi Uddin Ahmad, Zijian Wang, Feng Nan...
TL;DR本文提出了一种名为 ContraGen 的对比学习框架,用于解决语言生成过程中的表示限制问题,该框架可以显著提高表征的均匀性和区分性,改善语言理解和源代码生成的表现。