Nov, 2023

通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

PDF
TL;DR提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。
in-context learninglarge language modelshint-enhanced in-context learningopen-domain question answeringknowledge-intensive tasks
发现论文，激发创造
  • 具有大型语言模型的语境中感知歧义学习

    通过对三个文本分类任务的广泛实验，我们发现在选择演示示例时，不仅选择语义上相似的演示示例有益，还选择那些有助于解决测试示例周围固有标签模糊性的演示示例。有趣的是，我们发现包括之前被 LLM 错误分类并且与测试示例的决策边界相近的演示示例能够带来最大的性能提升。

    Sep, 2023

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • 隐式上下文学习

    在这项研究中，我们介绍了一种名为 Implicit In-context Learning (I2CL) 的创新范式，通过将演示样例吸收到激活空间中，解决了传统 In-context Learning (ICL) 所面临的挑战。经过实证评估，I2CL 在三种模型架构的九个真实世界任务上实现了接近零成本的少样本性能，并且对演示样例的变化表现出鲁棒性。此外，I2CL 促进了一种名为 “task-ids” 的新颖表示，增强了任务相似性检测能力并实现了有效的迁移学习。

    May, 2024

  • 增强上下文学习的事实知识

    通过注入事实知识、选择高相关性示例，并基于先前知识校准预测结果，提出了一种称为 KICT 的知识内外训练框架，以进一步改善 In-Context Learning (ICL) 的性能。在多个文本分类和问题回答任务上的实验证明，KICT 明显优于强基线模型，分别在文本分类和问题回答任务上的准确性提高了超过 13％和 7％。

    Sep, 2023

  • HICL：基于主题标签的社交媒体上下文学习的自然语言理解

    该研究论文介绍了一种基于上下文学习和 Hashtags 的社交媒体文本理解方法，利用 Encoder 模型通过对比学习和话题相关信息来改进社交媒体 NLU，进一步研究发现结合源输入和从 Encoder 中检索的顶级帖子比使用语义相似的帖子更为有效。

    Aug, 2023

  • 迭代前向调整促进语言模型内部学习

    本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

    May, 2023

  • 博士 ICL: 演示检索上下文学习

    本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

    May, 2023

  • 利用自然语言解释提高自然语言推理的上下文学习鲁棒性

    通过加上自然语言解释，人工智能模型在各种任务中有了显著提升，但在遇到对抗性输入时，效果下降。本文研究了如何通过加入自然语言解释来提高模型对七个对抗性和具有挑战性的自然语言推理数据集的鲁棒性，并提出了 ChatGPT 的几个人工生成的自然语言解释来产生更多自然语言解释的新方法，表现更好。通过对五种常见的大语言模型进行评估，我们发现 ChatGPT 的几个人工生成的自然语言解释的 X-ICL 方法比 ICL 方法提高了 6% 以上。此外，我们还发现之前能有效提高 ICL 性能的提示选择策略，在鲁棒性评估中并不具有与 X-ICL 范式相称的效果。

    Nov, 2023

  • 关于现场学习的调查

    本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

    Dec, 2022

  • 增强大型语言模型所需的法术书

    我们提出了一种称为 SLEICL（Strong LLM Enhanced ICL）的方法，通过从强语言模型学习例子并将其总结和转移给弱语言模型来确保 ICL 的稳定性和有效性，从而使弱语言模型在零样本或少样本情况下在多个数据集上取得了持续的提升。

    Jan, 2024