介绍了LLaMA，包含7B至65B个参数的基础语言模型，使用公开可用的数据集训练，其中LLaMA-13B在大多数基准测试中优于GPT-3（175B），LLaMA-65B等模型与最佳模型Chinchilla-70B和PaLM-540B相竞争。

Feb, 2023

我们开发并发布了称为Llama 2的预训练和微调的大型语言模型集合，该集合的规模从70亿到700亿参数不等。称为Llama 2-Chat的我们的微调语言模型在大多数测试中优于开源聊天模型，并根据我们的人工评估显示对于有用性和安全性而言可能是闭源模型的合适替代品。我们提供了我们微调和安全性改进方法的详细说明，以便使社区能够在我们的工作基础上进行拓展，并为Llama 2的负责任发展做出贡献。

Jul, 2023

LLaMA-Reviewer是一个创新框架，利用了LLaMA（一种流行的大型语言模型）在代码审查领域的能力。通过使用参数高效的微调方法，即使使用了6.7B参数的最小LLaMA基础模型和有限的微调时期，LLaMA-Reviewer也能达到现有的面向代码审查的模型的性能。

Aug, 2023

通过扩展Transformer blocks的方法，我们提出了一种新的LLMs后预训练方法，通过仅使用新的语料库调整扩展块，从而在不造成灾难性遗忘的情况下高效有效地改进模型的知识，实现在各种环境中高效运行的先进语言代理的开发。

Jan, 2024

这项研究介绍了Me LLaMA，这是一个医学领域的大型语言模型（LLM）家族，包括基础模型Me LLaMA 13/70B和增强聊天版本Me LLaMA 13/70B-chat。通过在大型医学数据上进行持续预训练和指导调整，Me LLaMA模型在医学任务上表现优于其他医学LLMs，适用于医学人工智能应用。

Feb, 2024

LLamaFactory是一个统一的框架，集成了一套先进的高效训练方法，用户可以通过内置的Web界面LlamaBoard灵活地自定义100多个大型语言模型（LLMs）的微调，我们在语言建模和文本生成任务上经验性地验证了该框架的效率和有效性。

Mar, 2024

该研究评估了GitHub Copilot在OpenAPI完成度方面的性能，并提出了一组针对任务的特定优化，利用了Meta的开源模型Code Llama。该研究还提出了一种语义感知的OpenAPI完成度基准方法，并通过一系列实验分析了各种提示工程和微调技术对Code Llama模型性能的影响。经过微调的Code Llama模型在参数数量比商业解决方案Codex模型的基础下少25倍的情况下，将正确性改进达到了55.2%的峰值。此外，该研究还提出了一种改进的代码插入训练技术，解决了模型在提示上下文大小小于训练时使用的大小时性能不佳的问题。

May, 2024

通过进行Int8量化，对llama.cpp中的一些运算符进行矢量化，并修改编译脚本以提高编译器优化水平，优化了Qwen-1.8B模型的推断性能。在Yitian 710实验平台上，填充性能提高了1.6倍，解码性能提高了24倍，内存使用量减少到原来的1/5，准确率损失几乎可以忽略不计。

Jun, 2024

本研究探讨了大型语言模型在文本到代码生成中的表现，特别是对比了Bard、BingChat、ChatGPT、Llama2和Code Llama等五种先进模型的能力。研究发现，ChatGPT在处理编程挑战方面远胜于其他模型，包括专门针对代码生成的Code Llama，展现出明显的性能优势。

Sep, 2024

该研究探讨了Llama 3.1模型在自然语言处理和编程自动化中的应用，填补了代码生成的能力与实际问题解决之间的 gap。通过展示其多语言支持及上下文感知等关键特性，证明其在提升软件开发效率中的重要性。实验结果表明，虽然该模型在处理简单算法问题上表现出色，但在量子计算、生物信息学和人工智能方面仍存在挑战。

Sep, 2024