Apr, 2024

中文细粒度 LLM：预训练中心化大型语言模型

PDF
TL;DR通过引入 CT-LLM，这项研究介绍了一个 2B 规模的大型语言模型（LLM），以优先考虑中文语言的发展。这项研究挑战了在英文语料库上培训 LLMs 并将其适应其他语言的常规模式，为 LLM 培训方法学的拓宽开创了新的可能性。
ct-llmlanguage modelchinesecorpusllm training methodologies
发现论文，激发创造
  • 台湾 LLM：用文化对齐的语言模型填补语言差距

    台灣 LLM 是第一個專門為繁體中文設計的大型語言模型，能夠理解並產生傳統中文文本，並在文化語境上與用戶群體達到共鳴。

    Nov, 2023

  • 衡量台灣普通話語言理解能力

    该研究针对传统汉语在现有基准测试中的低覆盖率，提出了适用于评估大型语言模型的 TMLU 综合评估工具，通过中学到专业水平的 37 个科目以及对每个科目进行链式思考式的少样本解释，基于 24 个优秀的语言模型的广泛实验证明汉语公开权重模型在复杂推理能力上表现较差，而适用于台湾国语的开放权重模型也相对于简体中文版本存在差距，研究发现存在提升潜力，强调了培养本土化台湾国语大型语言模型的目标，并公开了基准测试和评估脚本以促进未来研究。

    Mar, 2024

  • CMMLU: 用于测量中文海量多任务语言理解的工具

    本文介绍了一个涵盖自然科学、社会科学、工程学和人文学科等多个领域的全面中文基准 CMMLU，并通过评估 18 种面向性能的多语言和中文 LLMs，在不同的主题和设置下评估它们的性能，结果显示，大多数现有 LLM 在提供上下文示例和思维链提示时仍然难以达到 50% 的平均准确性，而随机基准线为 25%，这凸显出 LLMs 有显着的改进空间。

    Jun, 2023

  • 百川 2：开放的大规模语言模型

    Baichuan 2 是一系列大规模多语言语言模型，包含 70 亿和 130 亿参数，从头开始训练，共有 2.6 万亿个标记。Baichuan 2 在公共基准测试中表现出与其他类似规模的开源模型相匹配或超越的性能，如 MMLU、CMMLU、GSM8K 和 HumanEval，此外，Baichuan 2 在医学和法律等垂直领域表现出色。我们将发布所有的预训练模型检查点，以便研究界更好地理解 Baichuan 2 的训练动态。

    Sep, 2023

  • 揭示竞争动态：美国和中国 LLM 的比较评估

    该研究对中美两国大型语言模型在英语和中文环境下进行了全面比较评价，发现 GPT 4-Turbo 在英语环境中居于领先地位，而 Ernie-Bot 4 在中文环境中表现出色。研究强调了语言和任务差异对大型语言模型性能的影响，强调在模型开发中的语言和文化细微差别的重要性，并指出中美大型语言模型的相互补充性，强调了中美之间在推进大型语言模型技术方面的合作价值。该研究还为政策制定者和企业关于战略性大型语言模型投资和发展提供了有价值的见解，并展望了未来的研究方向，包括多模态能力和商业应用方面的评估。

    May, 2024

  • Hyacinth6B：一种用于繁体中文的大型语言模型

    为解决 LLMs 的高硬件和计算需求，本研究的主要动机是找到在模型轻量化和性能之间的平衡，力求在使用相对轻量级模型的同时最大限度地提高性能。Hyacinth6B 是为实现这一目标而开发的，旨在充分利用 LLMs 的核心能力，而不会产生重大的资源成本，并有效地推动较小型模型的性能边界。培训方法使用了参数高效的 LoRA 方法。

    Mar, 2024

  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024

  • 从零开始预训练轻量级大型语言模型 MindLLM: 评估与领域应用

    MindLLM 是一系列双语轻量级大型语言模型，通过从头开始训练模型以减轻培训和部署大型语言模型的负担并解决资源不足问题。该论文提供了大模型开发过程中的经验，并介绍了适用于较小模型的创新指令调整框架，同时探索了 MindLLM 在法律和金融等特定垂直领域的应用。

    Oct, 2023

  • 中文数据处理之翘楚：英文代码模型

    使用基于代码的大型语言模型在非编码汉语任务中可显著提高性能，特别是对于对汉语幻觉敏感的任务，语言学特征较少的模型表现更好，我们的研究还对哲学 “中国屋” 思想实验提供了独特的观点。

    Jan, 2024

  • CFGPT：具有大型语言模型的中文金融助手

    本文介绍了一种名为 CFGPT 的中文金融预训练变换器框架，包括一个用于预训练和监督微调的数据集（CFData），一个用于管理金融文本的金融 LLM（CFLLM）和一个用于导航实际金融应用的部署框架（CFAPP）。

    Sep, 2023