Sep, 2024

隐性集合的集合:大模型中的认识不确定性崩溃

TL;DR本研究探讨了在深度学习模型中,随着模型复杂性增加,认识不确定性崩溃的现象,这与更大的模型提供更好的不确定性量化的假设相悖。我们提出大模型内部的隐性集合现象是导致这种崩溃的原因,并通过实验证明了这一现象在多种架构中的存在,最终为不确定性估计提供了理论依据和新的视角。