Jul, 2024

TelecomGPT：用于构建电信领域大型语言模型的框架

HTML
PDF
TL;DR我们提出了首个针对电信领域的大规模语言模型（LLMs）的适应流程，并通过建立特定的预训练数据集，指令数据集和偏好数据集，分别进行连续预训练、指令微调和对齐微调来优化LLMs的性能。此外，我们提出了三个新的评估基准，即电信数学建模，电信开放性问答和电信代码任务，以综合评估LLMs在电信领域中的能力。我们的优化后的电信领域LLM TelecomGPT在电信数学建模基准中显著优于GPT-4，Llama-3和Mistral等先进模型，并在TeleQnA、3GPP技术文档分类、电信代码摘要和生成以及填充等各项评估基准中取得了可比较的性能。
发现论文，激发创造
  • 通过大型语言模型了解电信语言

    本文介绍了如何使用 Fine-tune 调整预训练语言模型，例如 BERT、RoBERTa 和 GPT-2，来识别电信领域的文档中的工作组标准，其准确率可达 84.6%。

    Jun, 2023

  • 通信行业的大型语言模型：即将对行业产生的影响

    大型语言模型 (LLMs) 对于自然语言处理 (NLP) 领域以外的许多领域产生了深远的影响，并引起了前所未有的关注。该研究深入探讨了LLMs的内部工作机制，提供了对其当前能力和局限性的深入洞察。此外，研究还揭示了在电信领域内使用LLMs面临的独特挑战，以及可以在电信行业中实施的使用案例和研究方向。解决这些挑战是充分利用LLMs潜力、完全发挥其在电信领域中能力的重要一步。

    Aug, 2023

  • TeleQnA：评估大型语言模型的基准数据集 电信知识

    我们介绍了TeleQnA，这是首个用于评估大型语言模型（LLMs）在电信领域知识的基准数据集。该数据集包含10,000个问题和答案，来源于多个标准和研究文章。该论文阐述了创建该数据集的自动问题生成框架，并说明了在不同阶段集成人工输入以保证问题质量。通过使用提供的数据集，对GPT-3.5和GPT-4等LLMs的能力进行了评估。结果表明，这些模型在处理复杂的标准相关问题方面存在困难，但在解答一般的电信相关问题时表现出了出色的能力。此外，我们的结果展示了将电信知识背景纳入模型显著提高了其性能，从而揭示了电信基础模型的需求。最后，将数据集分享给了活跃在电信领域的专业人士，并将他们的表现与LLMs进行了基准测试。研究结果表明，在电信知识方面，LLMs可以与活跃专业人士的表现相媲美，这归功于它们处理大量信息的能力，突显了LLMs在该领域的潜力。该数据集已在GitHub上公开获取。

    Oct, 2023

  • TeleChat 技术报告

    TeleChat是一种拥有30亿、70亿和120亿参数的大型语言模型集合，包括预训练的语言模型和根据人类偏好进行微调的聊天模型。在各种任务上，包括语言理解、数学、推理、代码生成和基于知识的问答等方面，TeleChat表现出与其他类似大小的开源模型相当的性能。我们公开发布了TeleChat的7B和12B变种的微调模型检查点、代码和部分预训练数据，以支持未来对大型语言模型的研究和应用。

    Jan, 2024

  • 大型语言模型：一份调查报告

    对大型语言模型（LLMs）进行了综述，包括三个流行的LLM系列（GPT，LLaMA，PaLM）的特点、贡献和局限性，同时讨论了构建和增强LLMs的技术、为LLM训练、微调和评估准备的常用数据集以及常用的LLM评估指标，最后讨论了未来的挑战和研究方向。

    Feb, 2024

  • 大型语言模型在电信领域的语言智能

    在自然语言处理领域中，本研究通过对四个知名的大型语言模型（Llama-2，Falcon，Mistral和Zephyr）进行全面的零样本评估，与最先进的微调模型进行性能比较，评估了大型语言模型在电信领域内的知识和理解能力，并发现零样本的大型语言模型能够在这一领域内达到与当前最先进微调模型相当的性能水平，突显了大型语言模型作为理解这一领域不足的各个方面的有价值资源的潜力。

    Feb, 2024

  • 电信语言模型：是否必须大规模?

    该论文评估了Phi-2模型在电信领域的的内在理解能力，并通过检索增强生成方法，将电信标准规范知识库与其整合，提高了其在准确度方面的性能。Phi-2模型在回答与电信标准相关的问题上表现出与资源密集型GPT-3.5相当的准确度，同时探索了Phi-2在电信领域解决问题的能力和局限性。

    Mar, 2024

  • 利用大型语言模型理解电信标准

    通过评估最新的大型语言模型作为第三代合作伙伴计划（3GPP）文件参考的问答助手的能力，本文提供了性能评估的基准和测量方法，进行了数据预处理和微调，提供了适用于所有语言模型的增加响应准确性的指南，并提供了一种名为TeleRoBERTa的模型，其性能与基础语言模型相当，但参数数量少一个数量级。结果表明，大型语言模型可以作为电信技术文件的可靠参考工具，因此在故障排除、维护、网络运营和软件产品开发等多个领域具有潜力。

    Apr, 2024

  • 电信领域的大型语言模型（LLM）：原则、关键技术和机遇的全面调研

    大型语言模型 (LLMs) 在最近因其出色的理解和推理能力而受到了广泛关注，取得了许多领域的巨大进展。LLM 技术的进步也为电信领域的许多任务自动化提供了有希望的机会。本工作旨在提供LLM-enabled电信网络的全面概述，介绍了LLM的基本原理、关键技术和电信应用，并给出了未来发展方向。

    May, 2024

  • 电信领域专业大语言模型系列

    本研究针对大语言模型在电信领域应用不足的问题，通过创建Tele-Data和Tele-Eval数据集，填补了电信领域专门化的空白。研究发现，专门针对电信领域训练的Tele-LLMs在Tele-Eval上优于通用模型，提升了技术术语和数学表达的处理能力，为电信行业的进一步发展提供了潜在的影响力。

    Sep, 2024