icl | BriefGPT - AI 论文速递

关键词icl

搜索结果 - 9

通过语义表示增强上下文学习的关系提取
本文研究了使用两种 AMR 增强语义表示方法对 ICL 上的 RE 问题。模型在四个 RE 数据集上表现出色，超越了基于 GPT 的基准模型，在其中两个数据集上达到了最先进的性能，而在另外两个数据集上表现出竞争力。
PDF18 days ago
ICML上下文学习转模型权重的精确转换
在这篇论文中，我们展示了一个算法（ICLCA），通过在线性变换网络中加入偏置项，可以使得上下文学习（ICL）得以明确和持久化。我们在数学上证明了通过 ICL 演示提示的模型与具有额外偏置项的同一模型之间的等价性。我们的方法允许以低成本进行精
PDFa month ago
波兰语分类任务的少样本学习评估
我们引入了一个包含 7 个不同分类任务的少样本基准，这些任务使用波兰语进行描述。通过在商业和开源预训练模型中进行 0 和 16 次试验的经验比较，我们发现 ICL 获得了最佳表现，商业模型如 GPT-3.5 和 GPT-4 达到了最佳性能。
PDF2 months ago
KDD知识图谱大规模语言模型（KG-LLM）用于链接预测
通过使用链式思维促进和上下文学习，该研究介绍了一种新方法，即知识图大型语言模型框架（KG-LLM），以提高知识图中多跳链接预测的效果。实验证明，集成上下文学习和链式思维不仅增加了方法的性能，而且显著提高了模型的泛化能力，从而在陌生情境中实现
PDF4 months ago
基于上下文学习、微调和监督学习的生物医学知识整理的基准测试与分析：以生物学相关化学实体为例的一项专项研究
自动化知识整理对于生物医学本体论至关重要，本研究比较和分析了三种自然语言处理范式（ICL、FT 和 ML）在整理任务中的效果，结果显示在特定数据情景下，ICL 表现出色，而 ML 和 FT 则需要任务特定的数据来超越 ICL。
PDF6 months ago
位置信息对于不变上下文学习至关重要：简单函数类的案例研究
深入研究了在上下文学习中的限制和成功原则，并通过比较变压器和 DeepSet 架构以保持重要的离域学习不变性的区别，发现保持离域学习不变性对于成功的下一次时关键的。
PDF7 months ago
变压器中新出现的情境学习的瞬时性质
transformer 神经网络虽然没有明确训练用于上下文学习，但其仍具备令人惊讶的上下文学习能力。然而，研究发现 ICL 在训练过程中常常是短暂的，且 ICL 和 in-weights learning 之间存在竞争关系，使用 L2 正则
PDF8 months ago
上下文学习与梯度下降再探讨
在这项工作中，我们重新审视了 ICL 和基于梯度下降（GD）的微调之间的比较，并研究了等效过程必须遵循的 ICL 的性质。我们强调了 ICL 和标准微调之间信息流动的主要差异，即 ICL 只能在每个点上依靠较低层次的信息，而微调依赖于更深层
PDF8 months ago
探究上下文学习行为：与监督学习的比较
大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的
PDFa year ago