利用可训练的连续提示嵌入 (P-tuning) 方法，在自然语言理解 (NLU) 任务上，GPT 在不需要额外文本的情况下，能够比同等大小的 BERT 表现更好或者相当，并且在 LAMA 基准测试中恢复了 64％的世界知识，同时在监督学习中，GPT 表现出类似大小的 BERT 相似或更好的性能。此外，该方法还显著减少了对提示工程的需求，并在少样本 SuperGlue 基准测试中优于现有最先进方法。

Mar, 2021

本文提出了一种基于大规模生物医学文献预训练的领域特定生成 Transfomer 语言模型 ——BioGPT，用于生物医学领域的自然语言处理任务，结果表明 BioGPT-Large 在 PubMedQA 任务上取得了 81.0% 的准确率，并提高了 BC5CDR、KD-DTI 和 DDI 关系提取任务的 F1 得分。

Oct, 2022

本研究以简单明了的方式，对各种生成预训练变压器（GPT）方法在情感分析中的应用进行了全面的探讨，特别是在 SemEval 2017 数据集的第四项任务中。通过三种主要策略：1）使用先进的 GPT-3.5 Turbo 进行提示工程，2）对 GPT 模型进行微调，3）一种创新的嵌入式分类方法。研究结果详细比较了这些策略和单独的 GPT 模型，揭示了它们的独特优势和潜在限制。此外，该研究将这些基于 GPT 的方法与其他同时使用该数据集的高性能模型进行了比较，结果显示 GPT 方法在预测性能方面具有显著优越性，F1 分数超过现有技术水平 22% 以上。该研究还探讨了情感分析任务中的常见挑战，如理解上下文和检测讽刺，强调了 GPT 模型在有效应对这些复杂性方面的增强能力。这些发现共同突显了 GPT 模型在情感分析中的巨大潜力，并为该领域的未来研究铺平了道路。

Jul, 2023

本文提出了一种名为 SparseGPT 的新型剪枝方法，能够高效、准确地应用于海量的 GPT 模型，实现一次性稀疏化至少 50％，并在几乎不影响困惑度的情况下，将最大可用的开源模型 OPT-175B 和 BLOOM-176B 稀疏化至 60％。

Jan, 2023

对 COLIEE 任务 4 数据集中 Heisei 18（2006 年）到 Reiwa 3（2021 年）的日本法律文本具体判断能力的 GPT-3.5（ChatGPT）和 GPT-4 模型的分析揭示了模型在处理法律文本具体性任务方面的优点、缺点和性能模式，为未来优化 GPT-based 模型并在法律信息提取和具体性应用中成功采用奠定了基础。

Sep, 2023

该研究对多个 Transformer 模型进行基准测试，展示了这些模型如何从新闻事件中判断情感。这个信号随后可用于下游建模和商品交易的信号识别。我们发现，在这一任务中，微调的 BERT 模型优于微调或原版的 GPT 模型。研究还提出了 CopBERT 模型，它在域特定的 BERT 训练模型（如 FinBERT）的性能上表现更好。综上所述，BERT 模型可能不会成为下一个 XGboost，但对于需要融合可解释性和准确性的金融工程任务来说，它代表了一个有趣的选择。

Apr, 2024

我们研究了 Chat-GPT 的基础语言模型中神经活动的拓扑结构，并分析了其相对于公平性的度量标准。我们开发了一种新方法，通过计算一种公平性度量标准来理解人类对公平性的评估因素，并通过与此度量标准相关的热力图对简单复形进行着色，从而产生可读的高维句子流形的可视化结果。我们的研究结果表明，基于 GPT-3.5 的语言模型的句子嵌入可以分解为公平和不公平道德判断对应的两个子流形，这表明 GPT 基于语言模型在其表示空间中发展了道德维度，并在其训练过程中引发了对公平性的理解。

Sep, 2023

通过使用不同的嵌入方法研究句向量与句子语义之间的相关性，我们观察到不同嵌入空间中相同句子的相关性以及相同嵌入空间中不同句子的相关性，这些观察结果与我们的假设一致并引领我们进入下一个阶段。

Aug, 2023

本研究提出一种基于张量列分解的方法，将每个令牌嵌入视为可在分布式方式下有效计算的矩阵乘积状态，从而实现对令牌嵌入层的压缩，可达到高达 38.40 倍的压缩比，并在 3.31 倍的压缩因子下甚至比原始 GPT-2 模型效果更好。

Jul, 2023

这篇研究论文探讨了自然语言处理领域中基于 Transformer 的语言模型，如 BERT 和 ChatGPT，在解决词义变化的时间问题方面的能力，对比了它们在两种 Word-in-Context 任务的历时扩展中（TempoWiC 和 HistoWiC）的表现，分析了 ChatGPT 相对于 BERT 的潜力，结果显示 ChatGPT 在研究词义变化方面表现较差。

Jan, 2024