Nov, 2023

大规模语言模型波动性基准测试

TL;DR大型语言模型的非确定性输出对金融文本理解任务的影响还没有得到很好的研究。通过对通过新闻情感分析在投资美国股票市场方面的一个引人注目的案例研究,我们发现句子级情感分类结果存在相当大的差异,突显了LLM输出的固有波动性。这些不确定性会迭代下游,导致投资组合构建和回报的更大变化。调整语言模型解码器中的温度参数可能是一个潜在的解决方法,但这会以抑制创造性为代价。类似地,多个输出的集合可以减轻不稳定输出的影响,但这要求相当大的计算投入。这项工作为从业者在将LLMs整合到金融决策中的不确定性情境中提供了宝贵的见解。