Dec, 2023

水母：一个用于数据预处理的大型语言模型

PDF
TL;DR在本文中，我们介绍了 Jellyfish，一种基于开源 LLM 的通用数据隐私求解器，它能够在解决各种数据隐私任务时展现出通用性，并且具备理解自然语言的能力。Jellyfish 不仅能够在本地、单个低成本 GPU 上运行，并确保数据安全和进一步调试。我们构建 Jellyfish 所采用的技术包括预调优和数据隐私调优技术，同时拥有解释器，对其输出结果进行解释，并通过知识注入来提高数据隐私的性能。我们使用各种真实数据集对 Jellyfish 进行评估，结果显示它与最先进的方法相比具有竞争力且具有很强的泛化能力。Jellyfish 的性能与 GPT 系列模型相当，并且其解释器相较于 GPT-3.5 具有增强的推理能力。同时，我们的评估结果也突显了构建 Jellyfish 所采用的技术的有效性。
jellyfishllmdata privacynatural language understandingknowledge injection
发现论文，激发创造
  • Data-Juicer：大型语言模型的一站式数据处理系统

    我们提出了一种强大而灵活、易于使用的数据处理系统 Data-Juicer，它提供了 50 多种内置的多功能操作符和可插拔工具，通过可视化和自动化评估能力，加快数据处理并获得数据洞察力，提供用户友好的界面并发布多种数据配方，同时实现高效和可扩展的数据处理。

    Sep, 2023

  • 教师 LM：从不授之以鱼，乃授之以钓，语言建模同样如此

    基于 TeacherLM-7.1B 的数据增强能力和注释能力，在 NLP 任务中获得显著的性能提升。

    Oct, 2023

  • 大型语言模型作为数据预处理器

    此研究拓展了大型语言模型（LLMs）的应用，探索了它们在数据预处理中的潜力，包括错误检测、数据插补、模式匹配和实体匹配任务。我们提出了一个基于 LLMs 的框架，用于改进模型的性能和效率。实验结果表明 LLMs 在数据预处理中具有巨大潜力。

    Aug, 2023

  • LlamBERT: NLP 中的大规模低成本数据标注

    LlamBERT 利用 Llama 2 和 GPT-4 等大型语言模型标记一小部分大型未标记数据库，通过结果对 BERT 和 RoBERTa 等 Transformer 编码器进行微调，以提高成本效益。

    Mar, 2024

  • Platypus: 快速、经济、强大的 LLMs 细化

    我们提出的 $ extbf {Platypus}$ 家族的大型语言模型在 HuggingFace 的 Open LLM Leaderboard 上表现最好，并且在本研究发布日期时处于首位。我们描述了我们的精选数据集 $ extbf {Open-Platypus}$，它是其他开放数据集的子集，我们向公众发布。我们的工作包括微调和合并 LoRA 模块以保留预训练 LLM 的强先验，并展现特定领域的知识，以及检查训练数据中的测试数据泄漏和污染的努力，这可以为未来的研究提供信息。特别是，Platypus 家族在各种模型大小的定量 LLM 指标上表现出色，在使用其它最先进的微调 LLM 所需的微调数据和计算资源的一小部分的情况下，超过全球 Open LLM leaderboard。特别是 13B 的 Platypus 模型可以在单个 A100 GPU 上训练，在 5 小时内使用 25k 个问题。这证明了我们 Open-Platypus 数据集的质量，为该领域的更多改进开辟了机会。

    Aug, 2023

  • 海豚：驾驶的多模态语言模型

    Dolphins 是一种新颖的视觉 - 语言模型，具有人类般的理解和反应能力，用于作为对话式驾驶助手，能够处理多模态输入以生成相应的指令。通过在驾驶领域构建特定的指令数据，Dolphins 能够全面理解复杂且多样的开放式驾驶场景，并解决各种自动驾驶任务，同时具备人类般的能力，能够通过上下文学习进行快速适应和通过反思进行错误恢复。

    Dec, 2023

  • 高效的语言自适应预训练：为波兰语扩展最先进的大型语言模型

    使用英语大型语言模型（LLMs）通过微调，成功地生成了波兰文文本，并证明了该方法对于为现有 LLMs 添加新语言是可行的。

    Feb, 2024

  • 数据解释器：一个用于数据科学的 LLM 代理

    本研究介绍了使用大规模语言模型（LLM）为基础的 Data Interpreter，通过动态规划、工具整合和逻辑错误的识别等三种关键技术来增强数据科学中的问题解决能力，并在各种数据科学和实际任务中评估其性能，在机器学习任务中实现了显著改进，并在数学数据集中提高了 26%，在开放式任务中实现了 112% 的显著改善。

    Feb, 2024

  • OpenBezoar: 小型、经济高效且开放式模型用于混合指导数据训练

    使用基于 OpenLLaMA 3Bv2 的基本模型，我们描述了用于微调 OpenBezoar 系列模型的配方，并证明了最终检查点 “OpenBezoar-HH-RLHF-DPO” 在 3B 参数规模上胜过许多其他模型。

    Apr, 2024

  • Zyda：一个用于开放语言建模的 1.3T 数据集

    我们介绍了一个新的数据集 Zyda，由多个开源数据集整合而成，它拥有高质量的语料库，包含 1.3 万亿个标记。通过严格的过滤和去重处理，我们提高了 Zyda 的质量，并发现它不仅与其他开源数据集竞争力相当，还能大幅提升 Pythia 套件中可比模型的性能。我们的数据处理方法显著增强了 Zyda 的效果，甚至优于其单独使用的各个数据集中最好的效果。

    Jun, 2024