本文对使用 VLPLMs 和 SOTA 模型在三个不同的数据集上进行的故事生成能力进行了自动和人为评估，结果表明 VLPLMs 生成的故事比其他故事生成模型更高质量，有一定程度上的过人之处，但也揭示了在涉及世界知识的情况下容易 “抄袭” 真实故事的现象。

Jan, 2023

该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。

Jun, 2020

通过一系列实验，我们的研究证明了在预训练阶段中利用人工生成的文本对于模型在下游任务的表现和性别偏见没有显著影响。

Sep, 2023

本文探讨自然语言模型在生成具有被误认为是他人所写的能力的在线文本方面的潜力，发现当前的这类技术中 GPT-2 可成功地模拟与欺骗常见的作者识别的方法，说明了这类技术的巨大潜力和其实际应用如非法信息识别和犯罪取证的重要性。

Mar, 2022

本文探讨了生成模型在零样本情况下从图数据生成描述性文本的能力，并与微调后的语言模型进行了比较，在两个图到文本数据集上评估了 GPT-3 和 ChatGPT 的性能。结果表明生成模型能够生成流畅和连贯的文本，AGENDA 和 WebNLG 数据集的 BLEU 分别达到 10.57 和 11.08。然而，我们的错误分析发现生成模型仍然难以理解实体之间的语义关系，并且倾向于生成存在幻觉或无关信息的文本。作为错误分析的一部分，我们使用 BERT 检测机器生成的文本，并实现了较高的宏 F1 得分。我们已公开提供生成模型生成的文本。

Jul, 2023

这篇研究论文使用了各种不同的大型语言模型，包括 MPT-7b-instruct，falcon-7b-instruct 和 OpenAI ChatGPT text-davinci-003 模型，通过不同的超参数对生成的摘要进行评估，并发现 text-davinci-003 模型的表现优于其他模型。该研究还分析了 CNN Daily Mail 和 XSum 两个不同的数据集，旨在提供对大型语言模型在不同数据集上应用时性能的全面理解。这项工作为对 NLP 领域的研究人员和从业者提供了有价值的见解，同时也为开发应对各种业务挑战的高级生成式人工智能应用奠定了基础。

Oct, 2023

本文介绍了一种使用大型语言模型来进行各种文本主题的改写以及延申到段落级别的重述的技术。该方法表现出了良好的效果，不仅能够对句子进行改写，还能对整段文本进行处理，无需将文本划分为较小的块。

Nov, 2019

该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

Dec, 2020

该论文探讨了将大型语言模型（如生成式预训练变换器 GPT）整合到人机合作环境中，通过口头人机交流手段促进可变自主性的快速发展的数字景观中，介绍了一种基于 Unity 虚拟现实（VR）环境的 GPT 驱动多机器人测试平台的创新框架。用户研究表明，用户对于与机器人对话的预设期望较高，却很少尝试探索机器人合作伙伴的实际语言和认知能力，但那些进行探索的用户能从更自然的沟通和人类式的双向交流中受益。我们提供了一组对未来研究和类似系统的技术实施的经验教训。

Dec, 2023

使用基于 transformer 的大型语言模型（LLMs）的 ChatGPT 作为研究对象，通过分析 BERT 隐藏单元的激活模式，发现其在不同层次上根据文体变异（1）和叙事内容（4-5）进行聚类，揭示了 LLMs 内部的区别任务处理机制，为深入研究人类语言处理和认知过程提供了潜力。

May, 2024