LLM 预训练模型通过精心选择文档,可以在仅使用部分 FLOPs 的情况下实现与完整训练相当的模型质量;通过使用提示的 LLM 作为文档评分器,我们将质量标签提取并应用于大规模的互联网抓取数据集,以自动筛除部分文档,从而更好地匹配性能,并通过在上下文中学习来提高标签模型的性能。
Jun, 2024
大规模语言模型的有效推理需要克服模型规模大、注意力操作复杂度高、自回归解码等问题,本文对提高大规模语言模型推理效率的现有技术文献进行了综述,介绍了数据层、模型层和系统层优化的方法,并通过实验进行了定量分析,最后总结了相关知识,并探讨了未来研究方向。
Apr, 2024
本篇研究旨在探索语言模型的泛化能力,结果表明语言模型更可能利用提示中的快捷方式,尤其是模型变得很大时。
May, 2023
本文介绍了大型语言模型的概念、挑战和解决方法,着重关注了数据集偏差和简化学习对其抗干扰性的影响,提出了识别和缓解这些影响的方法,并探讨了未来可能的研究方向。
Aug, 2022
本文对大型语言模型在逻辑推理方面进行了全面评估,提出了一种基于选择和推理的框架,可以在不进行微调的情况下改进性能,并伴随着因果自然语言推理过程的答案。
May, 2022
本研究提出了一种针对 LLMs 的模型修剪技术,强调深度学习模型的可解释性,并通过互信息估计和调参来指导修剪过程。同时,还探讨了大规模模型和小规模模型的修剪差异,并展示了所提出模型相对于现有模型的优越性。
May, 2024
这篇研究论文总结了大型语言模型(LLMs)不同子类的最新发展,包括基于任务的金融 LLMs、多语言 LLMs、生物医学和临床 LLMs,以及视觉语言 LLMs 和代码语言模型。它还强调了聊天机器人和虚拟助手开发领域中的未解决问题,如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境,旨在为对基于 LLMs 的聊天机器人和虚拟智能助手技术感兴趣的读者、开发者、学者和用户提供有用的信息和未来方向。
Jul, 2023
大型语言模型在自然语言处理领域取得了重要的性能提升,然而近期的研究发现,这些模型在执行任务时往往使用了捷径,导致性能看起来得到了提升,却缺乏泛化能力。这一现象给大型语言模型的自然语言理解评估带来了挑战。本文对该领域的相关研究进行了简明调查,并提出了对于捷径学习在语言模型评估中的影响的观点,特别是对于 NLU 任务。本文呼吁加大对捷径学习的研究力度,促进更加强大的语言模型的开发,并提高在实际场景中的 NLU 评估标准。
Jan, 2024
通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估,我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键,并通过从自由职业作家收集的高质量摘要进行人类评估,得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。
Jan, 2023
本研究旨在通过使用闪存将模型参数存储在 DRAM 之外,以满足超过 DRAM 容量的大型语言模型(LLMs)的高效运行需求。本文提出了两种主要技术,即通过重新使用已激活的神经元来减少数据传输的 “窗口化” 与利用闪存的顺序数据访问能力来增加数据块大小的 “行列捆绑”。这些方法使得模型能够在可用 DRAM 容量的两倍大小的情况下运行,并在与传统加载方法相比,CPU 和 GPU 分别实现 4-5 倍和 20-25 倍的推理速度提升。本研究通过结合稀疏感知、上下文自适应加载和面向硬件的设计,为在内存有限的设备上进行有效的 LLMs 推理铺平了道路。
Dec, 2023