论文标题：上下文学习和微调 GPT 用于论证挖掘

Jun, 2024

论文标题：上下文学习和微调 GPT 用于论证挖掘

In-Context Learning and Fine-Tuning GPT for Argument Mining

Jérémie Cabessa, Hugo Hernault, Umer Mushtaq

TL;DR大型语言模型 (LLMs) 在自然语言处理和深度学习领域已变得无处不在。我们介绍了一种基于 In-Context Learning (ICL) 的策略，结合 kNN-based examples selection 和 majority vote ensembling 来解决 Argument Type Classification (ATC) 的任务。在无需训练的 ICL 设置中，GPT-4 可以仅从少量示例中获取相关信息，并在 ATC 上达到很高的分类准确率。在引入文本形式的良构结构特征的 fine-tuning 策略中，GPT-3.5 在 ATC 上达到了最新的性能水平。总体而言，这些结果强调了 LLMs 在原始文本的离线和微调设置中理解全局论证流程的新能力。

Abstract

large language models (LLMs) have become ubiquitous in NLP and deep learning. in-context learning (ICL) has been suggested as a bridging paradigm between the training-free and fine-tuning LLMs settings. In ICL, a

large language models in-context learning argument mining argument type classification fine-tuning strategy

发现论文，激发创造

增强上下文学习的事实知识

通过注入事实知识、选择高相关性示例，并基于先前知识校准预测结果，提出了一种称为 KICT 的知识内外训练框架，以进一步改善 In-Context Learning (ICL) 的性能。在多个文本分类和问题回答任务上的实验证明，KICT 明显优于强基线模型，分别在文本分类和问题回答任务上的准确性提高了超过 13％和 7％。

Sep, 2023

迭代前向调整促进语言模型内部学习

本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

May, 2023

多标签文本分类的上下文学习

利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

Sep, 2023

大型语言模型感知语境学习用于代码生成

基于大型语言模型的代码生成中，我们提出了一种名为 LAIL 的新型学习选择方法，通过考虑给定需求和示例时生成真实程序的概率来估计候选示例，并通过概率反馈对候选示例进行标记，使用对比学习目标训练一个有效的检索器，从而提高了代码生成的性能。在 CodeGen 和 GPT-3.5 方面，LAIL 在三个代表性数据集上分别比基准线提高了 11.58％、6.89％、5.07％和 4.38％、2.85％、2.74％的 Pass@1 指标。

Oct, 2023

语音语言模型中上下文学习的探索

在自然语言处理领域中，GPT-3 的开发以来，上下文学习（ICL）在利用大型语言模型（LLM）方面发挥了重要作用。尽管 ICL 在 NLP 领域取得了成功，但鲜有工作探索了 ICL 在语音处理中的可能性。本研究提出了第一个探索 ICL 与语音语言模型在无文本监督下的结合的方法。通过提出的热启动训练方法，语音语言模型能够在未知任务上进行 ICL，而当前的语音语言模型不具备这种能力。我们通过在语音分类任务上验证了语音语言模型进行 ICL 的可行性。

Oct, 2023

关于现场学习的调查

本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

Dec, 2022

概念感知训练提高语言模型的上下文学习能力

文中介绍了一种名为 CoAT 的优化方法，利用模拟训练数据来帮助语言模型更好的利用其背景知识。使用 CoAT 训练的 In-context learners 性能表现良好，达到了在多任务训练中更大规模模型的性能水平。

May, 2023

从错误中的上下文原则学习

通过学习任务特定的 “原则”，在原有的少样本示例基础上，利用上模型在这些示例中产生的错误来帮助解决类似问题并避免常见错误，从而提高大量基准测试的性能。

Feb, 2024

上下文学习如何帮助提示调整？

该研究通过实验测量了几种不同的文本生成任务原始模型的表现，对比分析了几种参数有效的适应方法（如提示调整、上下文学习和指导性提示调整），并通过 IPT 探究了这些方法之间的交互作用和优缺点。

Feb, 2023

MT 中 LLM 的上下文学习能力的实证分析

探讨了大型语言模型在上下文学习中的能力，并研究了上下文演示的不同方面对机器翻译任务的影响。观察到不同模型家族对扰动示例呈现不同的行为，表明上下文学习的鲁棒性可能受到多种因素的影响。需要进一步研究来全面了解这些因素。

Jan, 2024