Apr, 2023

Pythia：用于分析大规模语言模型在训练和扩展方面的工具集

PDF
TL;DR介绍了 16 个大小从 70M 到 12B 参数的大型语言模型套件 Pythia，旨在促进在语言模型和训练动态中的研究，包括记忆化、少样本性能的术语频率效应和减少性别偏见等方面的结果。
large language modelspythiatraining dynamicsmemorizationgender bias reduction
发现论文，激发创造
  • Ziya2：数据为中心的学习对 LLM 来说就足够了

    提出了 Ziya2 模型，使用数据为中心的优化方法来增强其在不同阶段的学习过程，通过在多个基准测试中的显著优异表现，展示了 Ziya2 相较于其他模型以及开源模型的有希望的结果。

    Nov, 2023

  • Llemma: 数学领域的开放语言模型

    我们提出了 Llemma 这个大型数学语言模型，通过将 Code Llama 进行预训练得到了 Llemma，并在 MATH 基准测试中表现优于所有已知的开源基础模型，同时还能进行工具使用和形式定理证明而无需进一步微调。

    Oct, 2023

  • Zyda：一个用于开放语言建模的 1.3T 数据集

    我们介绍了一个新的数据集 Zyda，由多个开源数据集整合而成，它拥有高质量的语料库，包含 1.3 万亿个标记。通过严格的过滤和去重处理，我们提高了 Zyda 的质量，并发现它不仅与其他开源数据集竞争力相当，还能大幅提升 Pythia 套件中可比模型的性能。我们的数据处理方法显著增强了 Zyda 的效果，甚至优于其单独使用的各个数据集中最好的效果。

    Jun, 2024

  • Pythia：AI 辅助的代码自动完成系统

    本文提出了一种名为 Pythia 的人工智能辅助代码自动补全系统，利用深度学习模型从抽象语法树中提取代码背景信息，实现高准确度的代码自动补全推荐，适用于 Visual Studio Code IDE 等编辑环境，其准确度较传统方法高 20％左右。

    Nov, 2019

  • 大型语言模型中的紧急和可预测记忆

    通过对 Pythia 模型套件的记忆行为进行度量和分析，发现中间检查点是模型记忆行为的更好预测因素，同时提供了有关模型和数据记忆得分分布的新颖发现

    Apr, 2023

  • 教科书是你所需的唯一 II: phi-1.5 技术报告

    通过对 Transformer-based 语言模型的研究，提出了 phi-1.5—— 一个具有 13 亿参数的模型，其在自然语言任务上的性能与大五倍的模型相当，在更复杂的推理任务上超过了大多数非前沿的模型，同时避免了存在网络数据的问题，并支持开源以促进进一步研究。

    Sep, 2023

  • LLaMA：开放高效的基础语言模型

    介绍了 LLaMA，包含 7B 至 65B 个参数的基础语言模型，使用公开可用的数据集训练，其中 LLaMA-13B 在大多数基准测试中优于 GPT-3（175B），LLaMA-65B 等模型与最佳模型 Chinchilla-70B 和 PaLM-540B 相竞争。

    Feb, 2023

  • 大语言模型的程序综合

    本文探索了大型语言模型在通用编程语言的程序合成方面的局限性，并在新的基准测试中评估了这些模型的性能。作者在两个基准测试（MBPP 和 MathQA-Python）上测试了这些模型，结果表明这些模型的性能随着其大小的增加而呈现对数线性关系。他们研究了这些模型进行对话以及语意建模的能力，并发现即使是最好的模型也无法完全预测某些程序的输出。

    Aug, 2021

  • Platypus: 快速、经济、强大的 LLMs 细化

    我们提出的 $ extbf {Platypus}$ 家族的大型语言模型在 HuggingFace 的 Open LLM Leaderboard 上表现最好，并且在本研究发布日期时处于首位。我们描述了我们的精选数据集 $ extbf {Open-Platypus}$，它是其他开放数据集的子集，我们向公众发布。我们的工作包括微调和合并 LoRA 模块以保留预训练 LLM 的强先验，并展现特定领域的知识，以及检查训练数据中的测试数据泄漏和污染的努力，这可以为未来的研究提供信息。特别是，Platypus 家族在各种模型大小的定量 LLM 指标上表现出色，在使用其它最先进的微调 LLM 所需的微调数据和计算资源的一小部分的情况下，超过全球 Open LLM leaderboard。特别是 13B 的 Platypus 模型可以在单个 A100 GPU 上训练，在 5 小时内使用 25k 个问题。这证明了我们 Open-Platypus 数据集的质量，为该领域的更多改进开辟了机会。

    Aug, 2023

  • Paloma: 评估语言模型贴合度的基准

    通过测量语言模型对 585 个文本领域（从 nytimes.com 到 Reddit 上的 r/depression）的适应程度，本论文介绍了一种名为 Paloma 的语言模型评估方法，并使用基于指导方针的可比性组织结果，用于比较效率与成本的帕累托效率分析，还分析了预训练对不同领域适应性的影响。

    Dec, 2023