ACLMay, 2024

RecGPT：文本推荐的生成式预训练

PDF
TL;DR我们提出了第一个经过领域适应和完全训练的大型语言模型 RecGPT-7B 及其指导模式 RecGPT-7B-Instruct，用于基于文本的推荐。实验结果表明，我们的模型 RecGPT-7B-Instruct 在评分预测和顺序推荐任务上优于以前的强基准模型。我们释放了 RecGPT 模型以及它们的预训练和微调数据集，以促进未来在基于文本的推荐领域的研究和应用。可以在此链接获取我们 RecGPT 模型和数据集：https://huggingface.com/
发现论文，激发创造
  • RecGPT：借助 ChatGPT 培训范例，为序列推荐生成个性化提示

    ChatGPT 在自然语言理解方面取得了显著的成功。为了将 ChatGPT 的基本模式应用于推荐任务，我们在项目索引级别上设计了一个新的聊天框架。我们的创新主要包括模型、训练和推断等三个方面。通过在离线公共数据集和在线 A/B 测试中进行实验证明了我们提出方法的有效性。

    Apr, 2024

  • BioGPT：用于生物医学文本生成和挖掘的生成式预训练变形器

    本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

    Oct, 2022

  • SeqGPT：一个开箱即用的开放领域序列理解大语言模型

    SeqGPT 是一种增强的双语模型，专门用于开放领域自然语言理解，通过两个原子任务来表达所有的 NLU 任务并进行指令微调和深度微调，展示了良好的分类和抽取能力，可在未见领域上执行语言理解任务。

    Aug, 2023

  • PhoGPT：越南语生成预训练

    我们为越南语开源了一种最先进的 7.5B 参数生成模型系列 PhoGPT，包括基础的预训练单语模型 PhoGPT-7B5 及其指令遵循变体 PhoGPT-7B5-Instruct。此外，通过人工评估实验，我们还展示了其比以前的开源模型表现出更高的性能。

    Nov, 2023

  • GraphGPT：使用生成式预训练 Transformer 进行图学习

    我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

    Dec, 2023

  • RecurrentGPT：（任意）长文本的交互生成

    这篇论文介绍了 RecurrentGPT，它是一种神经网络模型，使用自然语言来模拟 LSTM 中的长短期记忆机制，从而实现生成任意长度的文本。不仅能生成 AI 生成内容（AIGC），还可以作为交互式虚构小说，直接与消费者进行互动， 是下一代计算机辅助写作系统的重要一步。

    May, 2023

  • GPT4Rec: 面向个性化推荐和用户兴趣解析的生成式框架

    本文介绍了 GPT4Rec，一种基于生成模型和搜索引擎的新型灵活推荐系统，它通过多查询生成技术和基于 BM25 的搜索引擎来更好地捕获用户兴趣，提高推荐的相关性和多样性。

    Apr, 2023

  • DialoGPT：大规模生成式预训练技术在对话响应生成中的应用

    本文介绍了 DialoGPT，一种大型的、可调整的神经对话响应生成模型，它在 Reddit 上 2005 年至 2017 年的时间跨度内提取的 1.47 亿条对话样本上进行训练。在单轮对话设置中，DialoGPT 能够达到接近人类的性能水平，能够生成比强基线系统更相关、更富有内涵和更具上下文一致性的响应。该预训练模型和训练流程已公开发布，以促进神经响应生成研究和更智能的开放域对话系统的开发。

    Nov, 2019

  • VisualGPT：预训练语言模型数据有效适配图像字幕生成

    本研究提出了 VisualGPT，一种数据高效的图像字幕模型，它利用了预先训练的语言模型中获得的语言知识，使用自重生编码器 - 解码器注意机制在少量领域训练数据上快速适应预训练的语言模型，并通过稀疏激活单元减少了零梯度的影响，我们在 MSCOCO 和 Conceptual Captions 数据集上进行 0.1％，0.5％和 1％的训练，结果表明，我们在 MS COCO 上的 CIDEr 得分最好的基线模型高达 10.8％，在 Conceptual Captions 上高达 5.4％，并在医学报告生成数据集 IU X-ray 上取得了最新的结果。

    Feb, 2021

  • BookGPT：基于语言模型的图书推荐通用框架

    本文介绍了一种基于 ChatGPT 的 BookGPT 书籍推荐系统，利用大型语言模型技术实现了书籍的评分、用户评分和书籍概述等三项典型任务。同时，本文还讨论了 BookGPT 在书籍推荐场景中的优缺点，并分析了后续 LLM 在这些场景中的机遇和改进方向。

    May, 2023