ACLMay, 2023
超越正向缩放：否定对语言模型缩放趋势的影响
Beyond Positive Scaling: How Negation Impacts Scaling Trends of Language Models
Yuhui Zhang, Michihiro Yasunaga, Zhengping Zhou, Jeff Z. HaoChen, James Zou...
TL;DR该研究介绍了 NeQA 数据集，发现语言模型的表现随着模型大小、计算能力或数据的提升而呈现出正比例尺度增长的趋势。然而，在 NeQA 数据集中，语言模型在对于否定问题的解答上出现了相反的结果。该研究发现，这种现象的解答依赖于两个子任务：问题回答和否定理解。研究表明：问题回答任务呈线性比例尺度增长趋势，而否定理解任务呈 Sigmoid 函数形状的比例尺度增长趋势，并由这两个趋势的组成，得出了 NeQA 的最终缩放趋势。