Dec, 2023

LLM360: 实现完全透明的开源语言模型

PDF
TL;DRLLM360 是一个完全开源的大型语言模型（LLMs）项目，旨在通过提供训练代码、数据、模型检查点和中间结果，支持透明和可重现的端到端 LLMs 训练过程，并大力推进 LLMs 在领域中的发展。
open-source large language modelsllm360training processtransparencyreproducibility
发现论文，激发创造
  • MAP-Neo：高能透明的双语大型语言模型系列

    开源研究中心提供了 MAP-Neo，一个具有可比较性的高性能透明双语语言模型，并公开了所有细节以复现该模型，以此加强开放研究社区并激发更多创新和创意来促进大语言模型的进一步改进。

    May, 2024

  • 使用开源代码训练大型语言模型的（滥）用

    本研究探讨使用未经授权的代码构建 LLMs 所带来的安全、隐私和版权问题，并提出了四条可行的建议。

    Feb, 2023

  • LLMs 时代的人类中心研究路线：人工智能透明度

    在大型语言模型与透明度的讨论中，我们必须考虑不同利益相关者在不同情境下的需求，并构建在人们处理、交互和使用信息方面所了解的经验基础上的透明度方法，这是一篇关于应对 LLM 这个新时代带来的人工智能透明度挑战的文章.

    Jun, 2023

  • H2O 开放生态系统用于最先进的大型语言模型

    介绍了一个完整的开源生态系统，用于开发和测试大型语言模型，目标是促进开放式替代闭源方法，通过 h2oGPT 和 H2O LLM Studio 提供基于 Apache 2.0 许可的代码和模型，以便更好地发展和访问 AI。

    Oct, 2023

  • OLMo: 加速语言模型的科学

    OLMo 是一种最先进且真正开放的语言模型，其框架用于构建和研究语言建模的科学。通过提供模型权重、推理代码以及训练和评估代码等整个框架，我们希望这一发布能够增强开放研究社区的实力，并激发创新的新浪潮。

    Feb, 2024

  • Aqulia-Med LLM：全过程开源医疗语言模型的开创性

    提出 Aquila-Med：一种基于 Aquila 的双语医学 LLM，通过持续预训练、监督微调以及强化学习从人类反馈中进行训练，解决医学领域中开源社区性能的问题，并在单轮对话、多轮对话和医学多项选择题方面取得显著成果。

    Jun, 2024

  • 从零开始预训练轻量级大型语言模型 MindLLM: 评估与领域应用

    MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

    Oct, 2023

  • Hippocrates：医疗领域大型语言模型的开源框架

    医疗领域的大型语言模型的集成将转变医学诊断、研究和患者护理，Hippocrates 是一个开源 LLM 框架，通过无限制地提供训练数据集、代码、检查点和评估协议来促进协作研究，解锁 LLM 的全部潜力，并使其在全球范围内享有人工智能研究的好处。

    Apr, 2024

  • MobiLlama：面向准确轻量级全透明的 GPT

    通过引入准确而高效的开源 0.5 亿参数的小语言模型 MobiLlama，本文探讨了在资源受限设备上设计准确但高效的小语言模型的挑战，并关注性能提升和资源需求降低，以满足隐私、安全和可持续性部署的需求。

    Feb, 2024

  • 面向专家级临床笔记生成的开源大型语言模型的适应性

    在本研究中，我们展示了一个小型开源语言模型（LLMs）可以有效地从门诊患者 - 医生对话中生成高质量的临床笔记，通过包括持续预训练、监督微调和强化学习在内的综合的领域和任务特定的自适应过程。我们通过增强方法 DistillDirect，以 Gemini Pro 作为教师模型，在策略上进行了强化学习。我们的研究证明了训练较小、开源的 LLMs 以辅助临床文档编写的潜力和可行性，充分利用医疗机构对患者记录和领域专业知识的访问。

    Apr, 2024