Sep, 2024

电信领域专业大语言模型系列

HTML
PDF
TL;DR本研究针对大语言模型在电信领域应用不足的问题，通过创建Tele-Data和Tele-Eval数据集，填补了电信领域专门化的空白。研究发现，专门针对电信领域训练的Tele-LLMs在Tele-Eval上优于通用模型，提升了技术术语和数学表达的处理能力，为电信行业的进一步发展提供了潜在的影响力。
发现论文，激发创造
  • 电信领域中LLMs的能力和局限性观察

    本文分析了引入生成式人工智能（AI）的大型语言模型（LLMs）——如OpenAI的ChatGPT、GPT3.5和GPT4、谷歌的Bard、Large Language Model Meta AI（LLaMA）等——在通信界面（特别是企业无线产品和服务）中应用的能力和局限性，并针对Craddlepoint公开数据进行多个用例的比较分析，包括领域自适应、内容连贯性、输入扰动和错误的鲁棒性。我们相信这种评估将为数据科学家提供建立面向领域特定需求的定制对话接口的有用见解。

    May, 2023

  • 通过大型语言模型了解电信语言

    本文介绍了如何使用 Fine-tune 调整预训练语言模型，例如 BERT、RoBERTa 和 GPT-2，来识别电信领域的文档中的工作组标准，其准确率可达 84.6%。

    Jun, 2023

  • 通信行业的大型语言模型：即将对行业产生的影响

    大型语言模型 (LLMs) 对于自然语言处理 (NLP) 领域以外的许多领域产生了深远的影响，并引起了前所未有的关注。该研究深入探讨了LLMs的内部工作机制，提供了对其当前能力和局限性的深入洞察。此外，研究还揭示了在电信领域内使用LLMs面临的独特挑战，以及可以在电信行业中实施的使用案例和研究方向。解决这些挑战是充分利用LLMs潜力、完全发挥其在电信领域中能力的重要一步。

    Aug, 2023

  • TeleQnA：评估大型语言模型的基准数据集 电信知识

    我们介绍了TeleQnA，这是首个用于评估大型语言模型（LLMs）在电信领域知识的基准数据集。该数据集包含10,000个问题和答案，来源于多个标准和研究文章。该论文阐述了创建该数据集的自动问题生成框架，并说明了在不同阶段集成人工输入以保证问题质量。通过使用提供的数据集，对GPT-3.5和GPT-4等LLMs的能力进行了评估。结果表明，这些模型在处理复杂的标准相关问题方面存在困难，但在解答一般的电信相关问题时表现出了出色的能力。此外，我们的结果展示了将电信知识背景纳入模型显著提高了其性能，从而揭示了电信基础模型的需求。最后，将数据集分享给了活跃在电信领域的专业人士，并将他们的表现与LLMs进行了基准测试。研究结果表明，在电信知识方面，LLMs可以与活跃专业人士的表现相媲美，这归功于它们处理大量信息的能力，突显了LLMs在该领域的潜力。该数据集已在GitHub上公开获取。

    Oct, 2023

  • 大型语言模型在电信领域的语言智能

    在自然语言处理领域中，本研究通过对四个知名的大型语言模型（Llama-2，Falcon，Mistral和Zephyr）进行全面的零样本评估，与最先进的微调模型进行性能比较，评估了大型语言模型在电信领域内的知识和理解能力，并发现零样本的大型语言模型能够在这一领域内达到与当前最先进微调模型相当的性能水平，突显了大型语言模型作为理解这一领域不足的各个方面的有价值资源的潜力。

    Feb, 2024

  • 电信语言模型：是否必须大规模?

    该论文评估了Phi-2模型在电信领域的的内在理解能力，并通过检索增强生成方法，将电信标准规范知识库与其整合，提高了其在准确度方面的性能。Phi-2模型在回答与电信标准相关的问题上表现出与资源密集型GPT-3.5相当的准确度，同时探索了Phi-2在电信领域解决问题的能力和局限性。

    Mar, 2024

  • 利用大型语言模型理解电信标准

    通过评估最新的大型语言模型作为第三代合作伙伴计划（3GPP）文件参考的问答助手的能力，本文提供了性能评估的基准和测量方法，进行了数据预处理和微调，提供了适用于所有语言模型的增加响应准确性的指南，并提供了一种名为TeleRoBERTa的模型，其性能与基础语言模型相当，但参数数量少一个数量级。结果表明，大型语言模型可以作为电信技术文件的可靠参考工具，因此在故障排除、维护、网络运营和软件产品开发等多个领域具有潜力。

    Apr, 2024

  • 电信领域的大型语言模型（LLM）：原则、关键技术和机遇的全面调研

    大型语言模型 (LLMs) 在最近因其出色的理解和推理能力而受到了广泛关注，取得了许多领域的巨大进展。LLM 技术的进步也为电信领域的许多任务自动化提供了有希望的机会。本工作旨在提供LLM-enabled电信网络的全面概述，介绍了LLM的基本原理、关键技术和电信应用，并给出了未来发展方向。

    May, 2024

  • 电信规格的技术语言处理

    大型语言模型（LLMs）在不同领域的应用越来越广泛。然而，目前即使是最先进的LLMs，如GPT-4，在没有大量预处理的情况下，从真实世界的技术文档中提取信息仍然存在挑战。本文讨论了处理电信行业专家生成的技术信息时，现有自然语言处理（NLP）工具的局限性，并将技术语言处理（TLP）的概念拓展到电信领域。此外，我们探讨了领域特定LLMs在规范工程师工作中的影响，并强调采用领域特定LLMs可以加快学习不同电信领域的专家的潜在好处。

    Jun, 2024

  • TelecomGPT：用于构建电信领域大型语言模型的框架

    我们提出了首个针对电信领域的大规模语言模型（LLMs）的适应流程，并通过建立特定的预训练数据集，指令数据集和偏好数据集，分别进行连续预训练、指令微调和对齐微调来优化LLMs的性能。此外，我们提出了三个新的评估基准，即电信数学建模，电信开放性问答和电信代码任务，以综合评估LLMs在电信领域中的能力。我们的优化后的电信领域LLM TelecomGPT在电信数学建模基准中显著优于GPT-4，Llama-3和Mistral等先进模型，并在TeleQnA、3GPP技术文档分类、电信代码摘要和生成以及填充等各项评估基准中取得了可比较的性能。

    Jul, 2024