Jun, 2021

新兴语言的表达能力取决于上下文复杂度和不可预测性的折衷

TL;DR本文探讨了深度学习模型在语言游戏中发展出不同语言的表现力,即能力体现在能有效编码输入空间信息的程度;通过对不同游戏的通用性表现进行度量,发现该表现力是上下文的复杂性和不可预测性之间的权衡,并对讯息类型塌缩现象进行了研究,结果表明使用陈等人 (2020) 提出的对比损失能够缓解这一问题。