通过加上自然语言解释，人工智能模型在各种任务中有了显著提升，但在遇到对抗性输入时，效果下降。本文研究了如何通过加入自然语言解释来提高模型对七个对抗性和具有挑战性的自然语言推理数据集的鲁棒性，并提出了 ChatGPT 的几个人工生成的自然语言解释来产生更多自然语言解释的新方法，表现更好。通过对五种常见的大语言模型进行评估，我们发现 ChatGPT 的几个人工生成的自然语言解释的 X-ICL 方法比 ICL 方法提高了 6% 以上。此外，我们还发现之前能有效提高 ICL 性能的提示选择策略，在鲁棒性评估中并不具有与 X-ICL 范式相称的效果。

Nov, 2023

本研究介绍了复杂文本风格转换任务的概念，并基于两个广泛适用的场景构建了复杂文本数据集。我们的数据集是这一类别的首个大规模数据集，包含 700 条改写句子和 1000 条《原神》游戏中的句子。虽然大型语言模型（LLM）在复杂文本风格转换中显示出了潜力，但存在数据隐私问题、网络不稳定性和高部署成本等缺点。为了解决这些问题，我们通过对比学习探索了小型模型（小于 T5-3B）通过隐式风格预训练的有效性。我们还提出了一种基于与人类评估对齐的文本生成质量自动评估方法，使用 ChatGPT。最后，我们将我们的方法与现有方法进行了比较，并展示了我们的模型在少样本文本风格转换模型方面达到了 state-of-art 的性能。

Sep, 2023

本文提出了风格注入的新任务，旨在将样本的风格偏好融入到预训练语言生成模型中，以生成具备风格的文本。通过有限的人工判断，我们的方法可以为风格分析模型提供数据并增强其样本集，同时平衡流畅性和风格采用。实验结果表明，我们的注入方法可以生成具有吸引力的风格化样例。

Jan, 2023

利用人类反馈的强化学习从 PPO 出发，ICE-GRT 在特定领域任务中展示了出色的能力，同时保持了通用任务性能，在小型模型中表现了分析能力的下降。

Jan, 2024

提出了一种用于上下文信息提取的指南学习（GL）框架，通过学习生成和遵循指南，在学习阶段，自动从少量标注中综合一组指南，在推理阶段，检索有用的指南以提升上下文学习的性能。

Oct, 2023

本文探讨利用人类书写的样例以几乎无监督的方式创作自由文本解释的任务，发现高质量的提示有助于提高语言模型的生成效果，同时人类研究表明 GPT-3 生成的解释在某些情况下能够胜过人工生成的解释；作者还结合 GPT-3 与学习自评价的筛选器对生成的解释进行过滤，结果表明这一方法能够实现较高水平的解释过滤。

Dec, 2021

本文旨在通过评估 ChatGPT 在文本风格转换多维度评估中的作用，与现有的自动度量以及人类判断的对比。结果表明，在不同等级下，与现有的自动度量相比，ChatGPT 与人类判断具有相似的相关性。

Apr, 2023

大型语言模型 (LLMs) 在自然语言处理和深度学习领域已变得无处不在。我们介绍了一种基于 In-Context Learning (ICL) 的策略，结合 kNN-based examples selection 和 majority vote ensembling 来解决 Argument Type Classification (ATC) 的任务。在无需训练的 ICL 设置中，GPT-4 可以仅从少量示例中获取相关信息，并在 ATC 上达到很高的分类准确率。在引入文本形式的良构结构特征的 fine-tuning 策略中，GPT-3.5 在 ATC 上达到了最新的性能水平。总体而言，这些结果强调了 LLMs 在原始文本的离线和微调设置中理解全局论证流程的新能力。

Jun, 2024

本文提出了一种名为 ICL-D3IE 的简单有效的上下文学习框架，该框架使得大型语言模型（如 GPT-3 和 ChatGPT）能够在文档信息提取方面使用不同类型的演示示例进行 DIE，包括提取难处理文档中最困难和独特的章节作为强演示，通过迭代改进各种演示等方法，从而显著提高了 GPT-3/ChatGPT 在三个广泛使用的基准数据集上的性能，无论是在内部分布还是外部分布的情况下。

Mar, 2023

通过比较 Few-shot in-context learning 和 Parameter-efficient fine-tuning 的方法，我们证明 PEFT 具有更好的精度和极低的计算成本。我们提出了一种名为 (IA)$^3$ 的新的 PEFT 方法，并提出了一个基于 T0 模型的简单配方，称为 T-Few，在没有任务特定调整或修改的情况下可以应用于新任务。我们在 RAF 基准测试中验证了 T-Few 的有效性，首次达到了超人类表现，并超越了现有技术的 6％。

May, 2022