Oct, 2019
语言表示学习的互信息最大化视角
A Mutual Information Maximization Perspective of Language Representation Learning
Lingpeng Kong, Cyprien de Masson d'Autume, Wang Ling, Lei Yu, Zihang Dai...
TL;DR本文介绍了词表示学习的最新方法,通过互信息最大化来统一传统的词嵌入模型和现代上下文嵌入模型。此外,我们提出了一种构建新的自监督任务的框架,并提供了一种简单的自监督目标函数来最大化句子全局表示和 n-gram 之间的互信息。这种方法可以在自然语言处理、计算机视觉和音频处理等多个领域传递知识和推进进展。