Jul, 2023

关于大型语言模型的起源：15821 个 LLM 的演化树和图

PDF
TL;DR利用 Hugging Face LLMs 的系统性命名法，通过使用 n-grams 和词频 - 逆文档频率进行层次聚类，我们成功地识别出一个个 LLMs 家族，并将其准确地聚类成有意义的子群。我们还提供了一个公共网络应用程序，用于浏览和探索我们的 LLMs 地图 Constellation。Constellation 可以快速生成各种可视化，包括树状图、图表、词云和散点图。Constellation 可在以下链接中访问：this https URL。
large language modelsllmshugging facehierarchical clusteringconstellation
发现论文，激发创造
  • 大型语言模型：一份调查报告

    对大型语言模型（LLMs）进行了综述，包括三个流行的 LLM 系列（GPT，LLaMA，PaLM）的特点、贡献和局限性，同时讨论了构建和增强 LLMs 的技术、为 LLM 训练、微调和评估准备的常用数据集以及常用的 LLM 评估指标，最后讨论了未来的挑战和研究方向。

    Feb, 2024

  • 图上的大型语言模型：综合调查

    通过对大型语言模型在图形上的应用的详细技术和潜在场景进行系统回顾，我们总结了大型语言模型在纯图、文本丰富图和文本配对图中的优缺点，并讨论了其在真实世界应用中的方法以及开源代码和基准数据集。最后，我们提出了这一快速发展领域的潜在未来研究方向。

    Dec, 2023

  • ChatGPT 备选方案：大型语言模型调查

    通过对多个 LLM 模型的研究，本文不仅提供了全面的概述，还明确了现有挑战，并指出了未来的研究方向。该综述提供了关于生成型人工智能的当前状态的全面观点，为进一步的探索、增强和创新提供了启示。

    Mar, 2024

  • 大规模语言模型对图的调查

    通过综述最新的最先进的用于图学习的大型语言模型，我们引入了一种新的分类方法，详细阐述了四种独特的设计，并探讨了每种框架的优势和局限性，同时强调了未来研究的潜在方向。

    May, 2024

  • ClusterLLM：将大语言模型用作文本聚类的指南

    介绍了 ClusterLLM，一种新颖的文本聚类框架，它利用指导调整的大型语言模型（例如 ChatGPT）的反馈。通过与传统的无监督方法相比较，ClusterLLM 具有两个有趣的优势：（1）即使其嵌入不可访问，它也具有 LLM 的紧急能力；（2）通过文本指令和 / 或少量注释数据，他可以理解用户在聚类方面的偏好。

    May, 2023

  • 2017 年至 2023 年大型语言模型研究的文献计量学综述

    本文通过对 5000 多篇学术文献的综合分析，提供了关于 LLM 研究的路线图，包括核心算法开发、自然语言处理任务、LLM 在医学、工程、社会科学和人文学科中的应用等方面的研究趋势以及研究范式和合作模式的变化，为研究人员、从业者和决策者了解 LLM 研究的当前状态、影响和潜力提供了有价值的见解。

    Apr, 2023

  • 图结合大型语言模型的综述：现状与未来方向

    在本调查中，我们首先提出了一种新的分类法，该分类法将现有方法根据 LLMs 在图相关任务中所扮演的角色（增强器、预测器和对齐组件）分为三类，并对这三类中的代表性方法进行了系统调查。我们还讨论了现有研究的局限性，并强调了未来研究的有希望的方向。

    Nov, 2023

  • 理解 LLMs: 从训练到推理的综合概述

    ChatGPT 的引入使得大型语言模型（LLM）被广泛应用于解决后续任务，而在此背景下，低成本的 LLM 培训和部署代表着未来的发展趋势。本文回顾了与这一新兴趋势相一致的大型语言模型培训技术和推理部署技术的演变。在培训方面，讨论了数据预处理、培训架构、预训练任务、并行培训以及与模型微调相关的内容。在推理方面，本文涵盖了模型压缩、并行计算、内存调度和结构优化等主题。它还探讨了 LLM 的利用并提供了对其未来发展的见解。

    Jan, 2024

  • 利用大型语言模型增强知识图谱构建

    本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

    May, 2023

  • 探索大型语言模型在图学习中的潜力

    本文旨在探索使用大型语言模型（LLMs）进行图机器学习的潜力，特别是节点分类任务，并调查两种潜在的流程：LLMs 作为增强器和 LLMs 作为预测器。通过全面而系统的研究，我们获得了原创性观察并发现新的见解，为利用 LLMs 进行图学习提供了新的可能性和有希望的方向。

    Jul, 2023