一种生成预训练变压器的相干波动态和语言生成

May, 2023

一种生成预训练变压器的相干波动态和语言生成

Coherent Wave Dynamics and Language Generation of a Generative Pre-trained Transformer

Tao Hong

TL;DR研究了波动力学在小型 GPT 中的表现，发现波动动力学提供了一种内在的振荡模式，同时具有上下文感知的可塑性和表达能力，在分析波动模式、相干性和聚类的基础上，为人们提供了系统地识别和解释隐藏状态通道功能的方法。此外，研究了在文本序列生成中不同阶段的拼写错误的泊松统计，探讨了正确和错误拼写的比较，并得出了正确拼写从泊松分布向亚泊松分布转变的规律，为深入理解大型语言模型的能力和开发更专业的模型开辟了新机遇。

Abstract

large language models (LLMs), such as the Generative Pretrained Transformer (GPT), have achieved tremendous success in various language tasks, but their emergent abilities have also raised many questions, concerns, and challenges that need to be addressed. To gain a better understandin

large language models hidden state wave dynamics language generation spelling errors

发现论文，激发创造

提升一致性：当你的预训练语言模型未能足够关注时

本文研究了大语言模型在长范围语义连贯性方面的问题，提出一种名为 “连贯提升” 的推理方法，能够提高语言模型对长内容的关注，通过分布分析证明了连贯提升的优点，并发现其在零样本自然语言处理任务中也能产生性能提升，而无需额外的训练。

Oct, 2021

关于大语言模型的规划、搜索和记忆能力

通过对 GPT-4 在规划子领域中的表现进行全面检查，我们鉴定了大型语言模型在解决规划问题方面的优势和限制，并提出了改进领域特定大型语言模型的思维链能力的方法。这些结果为大语言模型在规划领域的潜在应用提供了宝贵的见解，并为未来的研究克服其限制和拓展其能力铺平了道路。

Sep, 2023

朝向连贯且凝聚的长文本生成

本文提出了一种新的神经语言模型，它具备两个神经鉴别器，可以在句子层面（内聚性）和段落层面（连贯性）提供反馈信号，并且使用了一种称为负关键序列训练的简单而有效的策略梯度方法进行训练。结果表明，相对于基线（基于双向 MLE 训练的复发关注神经语言模型），我们的方法有效改善了模型表现。

Nov, 2018

PatternGPT: 大型语言模型文本生成的基于模式驱动的框架

本文提出了一种基于模式提取和选择的框架，PatternGPT，通过生成大型语言模型的抽取能力和联邦学习的思想来生成丰富的模式，并通过定义标准和优化算法来选择高品质的模式，并优化生成结果和用户体验的质量，从而提高大型语言模型的文本生成能力，有望促进智能对话和内容生成领域的进一步发展。

Jul, 2023

生成式大型语言模型是全能文本分析引擎：文本对文本学习是您所需的全部

通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

Dec, 2023

CoCo: 在数据限制下利用对比学习增强一致性的机器生成文本检测

本论文提出了一种名为 CoCo 的基于连贯性图和对比学习的模型，用于检测低资源情况下的机器生成文本；该方法采用预训练模型和图神经网络将文本表示为连贯性图，并使用改进的对比损失函数应对数据限制挑战，实验结果表明 CoCo 方法优于现有的最先进的方法。

Dec, 2022

探索大型语言模型在通过思维链路提示进行反思评估方法中的效力

通过 CoT 提示方法来评估四个语言模型对第三年医学生反思性文章的打分，结果显示 Llama-7b 表现最差，均方误差最高，而 ChatGPT 表现出色，科恩卡帕分数达到 0.53。此外，所选模型均优先考虑用户隐私，允许用户删除自己进行的会话。

Sep, 2023

在上下文中学习的同时保持连贯性：使用大型语言模型进行即时机器翻译的研究

本文探讨了在上下文中学习（in-context learning）的概念，将其视为维持与上下文信息相一致的生成任务。通过实验表明，长期一致性可以作为下游翻译任务表现优异的良好指标，并表明在上下文机器翻译可以实现随时自适应（on-the-fly adaptation）的效果。

May, 2023

语言模型的物理学：第 1 部分，无上下文语法

本研究设计实验以探究生成式语言模型如何学习上下文无关文法，并发现了 Transformer 如何利用物理机制隐式地编码文法结构、形成类动态规划的 attention，并在处理语法错误时表现出的鲁棒性方面的相关拓展。

May, 2023

ChatGPT 在语言使用上是否与人类相似？

通过 12 个预注册的实验，我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理，但是他们在一些方面与人类处理方式存在差异，并且可能通过 Transformer 架构来解释这些差异。

Mar, 2023