Mar, 2024

GPTA：用于与 LLM 协同增强下游神经网络的生成提示调整助手

PDF
TL;DRGPTA 是一个通过预设前缀加强下游任务模型的训练的大型语言模型辅助训练框架，通过最小化对 LLM 的数据暴露，解决了在下游任务模型训练中应用 LLM 所面临的安全和法律挑战。GPTA 采用了一种新的协同训练方法，通过参数梯度优化下游模型和通过新颖的 “对话梯度” 优化 LLM。该框架不仅在六个自然语言处理基准数据集上展示出显著的模型性能提升，而且在资源稀缺场景中有效减少了过拟合。详细分析进一步验证了我们的先导框架提供了一种成本高效和适应性强的 LLM 支持下游任务模型训练的方法。
gptalarge language modelframeworkdownstream task model trainingllm support
发现论文，激发创造
  • 生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

    通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

    Dec, 2023

  • SGL-PT: 具有图形提示调整的强大图形学习器

    本文提出了一种名为 SGL-PT 的新框架，其中采用 “预训练、提示和预测” 的学习策略，通过采用有生成和对比自监导的结构图（SGL）和基于口头指导的方式，将预训练和微调统一到了一起，从而在图分类任务方面取得了较好的成果。

    Feb, 2023

  • GraphGPT: 大型语言模型的图指令调优

    我们的研究旨在提高图模型在具有挑战性的零样本学习场景中的泛化能力，通过发展面向图结构知识的大型语言模型（LLMs），并利用图指示调整范式来与图结构知识建立联系，探索自我监督的图结构信号和任务特定的图指示，从而引导 LLMs 在理解复杂的图结构和改善在不同下游任务之间的适应性。我们的框架在监督和零样本图学习任务上进行评估，展示了优越的泛化能力，并超过了最先进的基准模型。

    Oct, 2023

  • ModelGPT: 发挥 LLM 的能力进行定制模型生成

    通过使用 Large Language Models (LLMs)，我们提出了 ModelGPT 框架，以满足用户的特定需求，并以更快的速度生成定制化的 AI 模型，以实现更加便利和用户友好的人工智能模型。

    Feb, 2024

  • 通过提示调整的大型语言模型进行医患对话的自动摘要

    通过 prompt 调整，使用生成式大型语言模型（LLMs）概括医生与患者对话，证明了生成式临床 LLMs 调整对于医学自动文摘系统的效率。

    Mar, 2024

  • HetGPT: 利用预训练异构图神经网络的提示调节能力

    提出了 HetGPT，一种通用的后训练提示框架，用于改善预训练的异构图神经网络（HGNNs）的预测性能，并通过多视图邻域聚合机制捕捉异构图中的复杂邻域结构。在三个基准数据集上进行的大量实验证明了 HetGPT 在半监督节点分类方面改进了最先进的 HGNNs 的性能。

    Oct, 2023

  • HPC-GPT：大规模语言模型在高性能计算中的整合

    提出基于 HPC 领域的 LLaMA 模型 HPC-GPT，通过生成的 QA 实例进行细粒度调整，提升 LLM 在高性能计算任务中的性能表现。通过在 AI 模型、数据集管理以及数据竞争检测等 HPC 任务中使用 HPC-GPT，得到与现有方法相媲美的结果，展示其在 HPC 相关场景下的优秀性能。实验结果表明 HPC-GPT 潜力巨大，能够弥合 LLM 和 HPC 特定任务之间的性能差距，为复杂计算应用中的语言模型的使用铺平道路。

    Oct, 2023

  • DB-GPT 展示：由大型语言模型赋能的下一代数据交互系统

    DB-GPT 是一款现成的 Python 库，将大型语言模型（LLMs）与传统数据交互任务相结合，以增强用户体验和可访问性。它支持各种环境部署，并能够处理包括基本的文本到 SQL 转换以及生成式数据分析等复杂任务。此外，DB-GPT 还提供一系列产品功能，以方便用户将其集成到产品环境中。

    Apr, 2024

  • GPT3Mix：利用大规模语言模型进行文本增强

    本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

    Apr, 2021

  • AutoML-GPT：使用 GPT 进行自动化机器学习

    AutoML-GPT 是一种使用大型语言模型和任务导向提示的自动化训练管道，可自动处理数据、选择最佳模型架构和超参数优化，并在计算机视觉、自然语言处理等领域实现了显著的结果，对于许多 AI 任务具有广泛的适用性。

    May, 2023