BriefGPT.xyz
Sep, 2023
教科书是你所需的唯一II: phi-1.5技术报告
Textbooks Are All You Need II: phi-1.5 technical report
HTML
PDF
Yuanzhi Li, Sébastien Bubeck, Ronen Eldan, Allie Del Giorno, Suriya Gunasekar...
TL;DR
通过对Transformer-based语言模型的研究,提出了phi-1.5——一个具有13亿参数的模型,其在自然语言任务上的性能与大五倍的模型相当,在更复杂的推理任务上超过了大多数非前沿的模型,同时避免了存在网络数据的问题,并支持开源以促进进一步研究。
Abstract
We continue the investigation into the power of smaller
transformer-based language models
as initiated by \textbf{
tinystories
} -- a 10 million parameter model that can produce coherent English -- and the follow-u
→