利用自然语言解释提高自然语言推理的上下文学习鲁棒性

Nov, 2023

利用自然语言解释提高自然语言推理的上下文学习鲁棒性

Using Natural Language Explanations to Improve Robustness of In-context Learning for Natural Language Inference

Xuanli He, Yuxiang Wu, Oana-Maria Camburu, Pasquale Minervini, Pontus Stenetorp

TL;DR通过加上自然语言解释，人工智能模型在各种任务中有了显著提升，但在遇到对抗性输入时，效果下降。本文研究了如何通过加入自然语言解释来提高模型对七个对抗性和具有挑战性的自然语言推理数据集的鲁棒性，并提出了 ChatGPT 的几个人工生成的自然语言解释来产生更多自然语言解释的新方法，表现更好。通过对五种常见的大语言模型进行评估，我们发现 ChatGPT 的几个人工生成的自然语言解释的 X-ICL 方法比 ICL 方法提高了 6% 以上。此外，我们还发现之前能有效提高 ICL 性能的提示选择策略，在鲁棒性评估中并不具有与 X-ICL 范式相称的效果。

Abstract

Recent studies have demonstrated that large language models (LLMs) excel in diverse tasks through in-context learning (ICL) facilitated by task-specific prompts and examples. However, the existing literature show

large language models in-context learning adversarial inputs natural language explanations prompt selection strategies

发现论文，激发创造

通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

Nov, 2023

增强大型语言模型所需的法术书

我们提出了一种称为 SLEICL（Strong LLM Enhanced ICL）的方法，通过从强语言模型学习例子并将其总结和转移给弱语言模型来确保 ICL 的稳定性和有效性，从而使弱语言模型在零样本或少样本情况下在多个数据集上取得了持续的提升。

Jan, 2024

大型语言模型是事后解释器吗？

利用大型语言模型和上下文学习，本研究提出了一种新的解释框架，展示了语言模型在解释其他预测模型方面的有效性，并通过实验证明了其与现有解释技术相媲美的性能，从而在可解释的人工智能领域开辟了新的研究前沿。

Oct, 2023

从错误中的上下文原则学习

通过学习任务特定的 “原则”，在原有的少样本示例基础上，利用上模型在这些示例中产生的错误来帮助解决类似问题并避免常见错误，从而提高大量基准测试的性能。

Feb, 2024

语言模型利用交叉任务上下文学习解决数据稀缺的新任务

该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。

May, 2024

语音语言模型中上下文学习的探索

在自然语言处理领域中，GPT-3 的开发以来，上下文学习（ICL）在利用大型语言模型（LLM）方面发挥了重要作用。尽管 ICL 在 NLP 领域取得了成功，但鲜有工作探索了 ICL 在语音处理中的可能性。本研究提出了第一个探索 ICL 与语音语言模型在无文本监督下的结合的方法。通过提出的热启动训练方法，语音语言模型能够在未知任务上进行 ICL，而当前的语音语言模型不具备这种能力。我们通过在语音分类任务上验证了语音语言模型进行 ICL 的可行性。

Oct, 2023

关于现场学习的调查

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

增强大型语言模型的少样本文本到 SQL 能力：关于提示设计策略的研究

本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。

May, 2023

针对大型语言模型的对抗性演示攻击

本文研究了使用演示数据对大型语言模型（LLMs）进行上下文学习（ICL）的安全问题，并通过 TextAttack 提出了一种只操纵演示而不改变输入的 ICL 攻击方法，结果表明，随着演示数量的增加，ICL 的鲁棒性会降低，并呼吁对 ICL 的鲁棒性进行广泛研究，特别是在 LLMs 的发展中。

May, 2023

C-ICL: 对比上下文学习的信息抽取

使用 c-ICL 方法，通过整合正确和错误的示例构造，通过使用正确的示例以及最近的正类示例，通过上下文学习展示来提高大型语言模型在信息提取方面的性能。

Feb, 2024