May, 2023

RecurrentGPT：（任意）长文本的交互生成

PDF
TL;DR这篇论文介绍了 RecurrentGPT，它是一种神经网络模型，使用自然语言来模拟 LSTM 中的长短期记忆机制，从而实现生成任意长度的文本。不仅能生成 AI 生成内容（AIGC），还可以作为交互式虚构小说，直接与消费者进行互动， 是下一代计算机辅助写作系统的重要一步。
recurrentgptlong text generationai generated contentinteractive fictionmachine learning
发现论文，激发创造
  • GPT 正在成为一个图灵机：以下是一些编程方法

    通过在适当的提示下，GPT-3 模型可以被触发执行循环，包括计算机科学课程或软件开发人员面试中常见的几个受欢迎算法，我们通过 Regimenting Self-Attention（IRSA）的三种方法之一（或组合）来触发执行和迭代。IRSA 在动态程序执行中带来比将模型替换为更强大的 GPT-4 更大的准确性增益。它在教育中有着广泛的应用，提示和响应类似于数据结构和算法课程中的学生作业。通过我们的发现，提示不需要完整覆盖任务示例即可触发算法行为，说明提示设计在 LLMs 的性能评估中的关键性作用比以前更为重要。

    Mar, 2023

  • RecycleGPT：一种带可循环模块的自回归语言模型

    利用预先生成的模型状态进行回收，RecycleGPT 是一种生成式语言模型，具有快速解码速度，通过理论评估和实际测试，在保持高性能的同时实现了 1.4 倍加速，降低了推理延迟。

    Aug, 2023

  • RecGPT：借助 ChatGPT 培训范例，为序列推荐生成个性化提示

    ChatGPT 在自然语言理解方面取得了显著的成功。为了将 ChatGPT 的基本模式应用于推荐任务，我们在项目索引级别上设计了一个新的聊天框架。我们的创新主要包括模型、训练和推断等三个方面。通过在离线公共数据集和在线 A/B 测试中进行实验证明了我们提出方法的有效性。

    Apr, 2024

  • BatGPT: 双向自回归生成预训练 Transformer 对话模型

    BatGPT 是由武汉大学和上海交通大学联合设计和训练的大型语言模型，具有双向自回归架构和参数扩展方法，可以生成高度自然流畅的文本和用于各种自然语言处理任务。

    Jul, 2023

  • 序列控制文本生成

    本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题，提出了一种新的控制文本生成任务 — 顺序控制文本生成，并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识，表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性，并接近于人类的写作业绩。

    Jan, 2023

  • AutoML-GPT：使用 GPT 进行自动化机器学习

    AutoML-GPT 是一种使用大型语言模型和任务导向提示的自动化训练管道，可自动处理数据、选择最佳模型架构和超参数优化，并在计算机视觉、自然语言处理等领域实现了显著的结果，对于许多 AI 任务具有广泛的适用性。

    May, 2023

  • 预训练语言模型渐进式生成长文本

    该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

    Jun, 2020

  • 具有剩余记忆变换器的可控文本生成

    本研究提出了一种用于控制文本生成的非侵入式、轻量级控制插件，名为 Residual Memory Transformer（RMT），通过与 Causal Language Models（CLMs）合作，采用残余学习范式，实现了更灵活、更通用和更高效的控制生成。通过各种自动和人工评估的广泛实验证明了 RMT 的优越性，证明了我们方法的有效性和多样性。

    Sep, 2023

  • GPT-too：一种以语言模型为首选的 AMR-to-text 生成方法

    本文提出了一种基于预处理的强化语言模型和基于回环一致性的重新评分相结合的方法，有效地生成表征意义的 AMRs 数据的文本，并在英语 LDC2017T10 数据集上的表现优于以往的所有技术，包括 transformer 架构。

    May, 2020

  • 基于提示的长度控制生成与强化学习

    我们提出了一种基于提示的长度控制方法，通过采用可训练或基于规则的奖励模型来影响大型语言模型的生成，从而实现长度可控的生成，该方法在广泛适用于类似 GPT 的大型语言模型的同时，显著提高了摘要任务中基于提示的长度控制的准确性。

    Aug, 2023