本文介绍了 SaulLM-7B，一个专为法律领域设计的大型语言模型 (LLM)，它具有 70 亿个参数，是第一个专门用于法律文本理解和生成的 LLM。利用 Mistral 7B 架构作为基础，SaulLM-7B 在超过 300 亿个标记的英文法律语料库上进行训练。SaulLM-7B 在理解和处理法律文件方面展现了最先进的能力。此外，我们提出了一种新颖的指导微调方法，利用法律数据集进一步提高 SaulLM-7B 在法律任务中的性能。SaulLM-7B 以 CC-BY-SA-4.0 许可证发布。

Mar, 2024

本文研究了如何在持续训练过程中注入领域知识以及如何设计正确的监督微调任务来帮助模型解决实际问题，在加入检索模块并提取相关文献的情况下，我们的模型可以更可靠地生成答案。

May, 2023

通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估，我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键，并通过从自由职业作家收集的高质量摘要进行人类评估，得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。

Jan, 2023

本文研究了大型语言模型在金融分析中的应用，通过 IJCAI-2024 FinLLM 挑战模拟了金融分类、金融文本摘要和个股交易等关键任务，并采用 Llama3-8B 和 Mistral-7B 作为基本模型，通过 Parameter Efficient Fine-Tuning（PEFT）和 Low-Rank Adaptation（LoRA）方法进行微调，将任务一和任务二的数据集进行融合，综合和全面地解决了这些多样且复杂的金融任务，展示了大型语言模型在提高准确性和决策能力方面的潜力。

Jul, 2024

MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

Oct, 2023

介绍了一种使用大型语言模型进行机器翻译的流水线，用于扩展语音助手系统的口语理解模型，提高了多语言场景和设备本地场景下的整体准确率。

Apr, 2024

通过在大量无标注的法律文件上进行微调，利用本地计算机上的预训练的大规模语言模型可以实现生成法律文件草案的任务，并同时保护信息隐私和提高信息安全性。

Jun, 2024

本文介绍一种基于情感分析的新数据集以及依此数据集进行的一系列实验，重点是训练一个强大的情感分类器用于议会会议。此外，还引入了第一个领域特定的 LLM（语言模型）用于政治科学应用，并在 27 个欧洲议会的会议记录中进行了 1.72 亿专业领域词汇的预训练。通过实验证明，LLM 在议会数据上的额外预训练可以显著提高模型的性能，尤其是在情感检测等具体领域任务上。同时，该研究显示多语言模型在未知语言上表现良好，并且来自其他语言的额外数据显著提高了目标议会的结果。本文对社会科学的多个领域做出了重要贡献，并将其与计算机科学和计算语言学相结合。最后，它建立了一种更可靠的政治文本情感分析方法，使学者能够使用标准化的工具和技术，从比较的视角研究政治情感。

Sep, 2023

本研究引入了 PLUME（Parallel Language Model），该模型是由三个 2B LLMs 组成，采用不同词汇量（32k、128k 和 256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在 16 个有监督翻译方向和 56 个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对 LLMs 的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

Jun, 2024

本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

Mar, 2024