BriefGPT.xyz
Nov, 2023
具有不同数量极小值的上下文学习函数
In-Context Learning Functions with Varying Number of Minima
HTML
PDF
David Oniani, Yanshan Wang
TL;DR
大型语言模型在上下文学习方面表现出很好的效果，我们的研究通过一个形式化的框架来探索上下文学习，并提出了一个用于近似函数的新任务，我们发现增加极值的数量会降低上下文学习的性能，同时我们的评估结果显示，上下文学习优于两层神经网络模型，并且在所有设置中上下文学习学习速度更快，我们通过一系列小样本实验验证了这些发现。
Abstract
large language models
(LLMs) have proven effective at
in-context learning
(ICL), an ability that allows them to create predictors from labeled examples. Few studies have explored the interplay between ICL and spe
→