Feb, 2025

大型语言模型如何理解数字

TL;DR本研究解决了大型语言模型在理解数字时遇到的表示双重性问题。通过运用认知科学中的相似性提示技术,研究表明这些模型的表示空间融合了字符串和数字表示,揭示出一种纠缠的表示方式。这一发现为理解变换器模型在文本输入中学习数字的本质提供了新视角,并指出了这一混合表示在实际决策场景中的影响。