BriefGPT.xyz
May, 2024
在LLM中,上下文学习是否足够用于指令遵循?
Is In-Context Learning Sufficient for Instruction Following in LLMs?
HTML
PDF
Hao Zhao, Maksym Andriushchenko, Francesco Croce, Nicolas Flammarion
TL;DR
通过对长文本 LLMs 进行多个 in-context 学习示例的贪婪选择,我们改进了 ICL 与 URIAL 的对齐效果,但仍未消除与指令微调之间的差距,进一步的削减研究揭示了 ICL 在指令调整的环境中的特殊性,从而推进了对 ICL 作为对齐技术的理解。
Abstract
in-context learning
(ICL) allows
llms
to learn from examples without changing their weights, which is a particularly promising capability for long-context
→