Aug, 2023

RecycleGPT：一种带可循环模块的自回归语言模型

PDF
TL;DR利用预先生成的模型状态进行回收，RecycleGPT 是一种生成式语言模型，具有快速解码速度，通过理论评估和实际测试，在保持高性能的同时实现了 1.4 倍加速，降低了推理延迟。
large language modelsrecyclegptgenerative language modelfast decoding speedinference latency
发现论文，激发创造
  • σ-GPTs: 一种新的自回归模型方法

    通过为输出添加位置编码，可以实时调节样本的顺序，从而提供优越的性能；该方法在不同领域进行评估，能够显著降低生成所需步骤数。

    Apr, 2024

  • RecurrentGPT：（任意）长文本的交互生成

    这篇论文介绍了 RecurrentGPT，它是一种神经网络模型，使用自然语言来模拟 LSTM 中的长短期记忆机制，从而实现生成任意长度的文本。不仅能生成 AI 生成内容（AIGC），还可以作为交互式虚构小说，直接与消费者进行互动， 是下一代计算机辅助写作系统的重要一步。

    May, 2023

  • GPT-too：一种以语言模型为首选的 AMR-to-text 生成方法

    本文提出了一种基于预处理的强化语言模型和基于回环一致性的重新评分相结合的方法，有效地生成表征意义的 AMRs 数据的文本，并在英语 LDC2017T10 数据集上的表现优于以往的所有技术，包括 transformer 架构。

    May, 2020

  • GPT-SW3：针对北欧语言的自回归语言模型

    本篇论文介绍了第一个本地大型生成语言模型 GPT-SW3 的开发过程，包括数据收集和处理、训练配置和指令微调、评估以及发布策略的考虑，并希望该论文能为其他研究者在小语种的大型生成模型的开发提供指南和参考。

    May, 2023

  • mGPT: 少样本学习器转向多语言

    本文介绍了两种自回归 GPT 类模型，使用维基百科和 Colossal Clean Crawled Corpus 训练了 60 种语言、25 种语言系的搜索，展示了多种任务上的表现，包括分类、生成、序列标记和知识探测，在多语种任务上有着与 Facebook 最近发布的 XGLM 模型相媲美的表现。

    Apr, 2022

  • SketchGPT：基于自回归模型的素描生成与识别

    我们提出了 SketchGPT，这是一个灵活的框架，使用序列到序列的自回归模型进行素描生成和完成，并进行了一个解释性案例研究用于素描识别。

    May, 2024

  • BatGPT: 双向自回归生成预训练 Transformer 对话模型

    BatGPT 是由武汉大学和上海交通大学联合设计和训练的大型语言模型，具有双向自回归架构和参数扩展方法，可以生成高度自然流畅的文本和用于各种自然语言处理任务。

    Jul, 2023

  • AutoML-GPT：AutoML 的大型语言模型

    AutoML-GPT 框架结合了多种工具和库，通过对话界面，用户可以指定需求和约束条件，实现数据预处理、特征工程和模型选择等操作，从而显著减少机器学习任务所需的时间和工作量。它能充分利用大型语言模型中的知识，为模型训练过程中的常见挑战提供宝贵见解和有效解决方案。

    Sep, 2023

  • GPT-NeoX-20B：一种开源的自回归语言模型

    我们介绍 GPT-NeoX-20B，它是一个由 200 亿个参数构成的自回归语言模型，在 Pile 上训练，其权重将通过一个宽松的许可证向公众免费开放。在该工作中，我们描述了模型的架构和训练，并评估了其在一系列语言理解、数学和基于知识的任务上的表现。我们发现，在五次少量数据（few-shot）评估时，GPT-NeoX-20B 是一个特别强大的 few-shot 推理器，并且在性能上比同样大小的 GPT-3 和 FairSeq 模型有更大的提升。我们在该 https URL 上开源了训练和评估代码，以及模型权重。

    Apr, 2022

  • RecGPT：文本推荐的生成式预训练

    我们提出了第一个经过领域适应和完全训练的大型语言模型 RecGPT-7B 及其指导模式 RecGPT-7B-Instruct，用于基于文本的推荐。实验结果表明，我们的模型 RecGPT-7B-Instruct 在评分预测和顺序推荐任务上优于以前的强基准模型。我们释放了 RecGPT 模型以及它们的预训练和微调数据集，以促进未来在基于文本的推荐领域的研究和应用。可以在此链接获取我们 RecGPT 模型和数据集：https://huggingface.com/

    May, 2024