Feb, 2024

C-ICL: 对比上下文学习的信息抽取

PDF
TL;DR使用 c-ICL 方法，通过整合正确和错误的示例构造，通过使用正确的示例以及最近的正类示例，通过上下文学习展示来提高大型语言模型在信息提取方面的性能。
发现论文，激发创造
  • 上下文学习的少样本嵌套命名实体识别

    我们提出了一个有效和创新的 ICL 框架，用于少样本嵌套命名实体识别，通过设计一种新颖的示例演示选择机制 EnDe 检索器，我们通过对比学习进行语义相似性、边界相似性和标签相似性的三类表示学习来生成高质量的演示示例，在三个嵌套 NER 和四个平面 NER 数据集上的大量实验表明我们系统的有效性。

    Feb, 2024

  • 关于现场学习的调查

    本文概述了大型语言模型的新范式 —— 上下文学习，并探讨了训练策略和演示设计策略等高级技术，以及上下文学习所面临的挑战和未来方向。

    Dec, 2022

  • 博士 ICL: 演示检索上下文学习

    本研究表明，在语义上相似的演示可以提高大型语言模型的性能，这可以通过呈现一些示范来完成，并且可以有效地对大量语言和任务进行泛化，同时，我们还引入了任务特定的演示检索器，以进一步提高性能。

    May, 2023

  • ParaICL: 面向鲁棒的并行上下文学习

    通过并行处理不同批次的样本，依据语义相似性在上下文学习中同时使用所有示范样本，并通过加权平均语义目标选择最合适的标记，从而提高 ICL 的有效性。

    Mar, 2024

  • 具有影响力的上下文示例选择

    本文通过使用 in-context 影响性分析 few-shot in-context learning 性能，提出了基于影响的示例选择方法，该方法在 10 个 SuperGlue 任务上优于大多数基线，并且随着 k-shot 的增加而稳定扩展。分析发现最积极和最消极的示例之间的性能差距高达 22.2％。在案例研究中，我们应用影响力框架来量化 few-shot in-context learning 中的近期偏差现象。

    Feb, 2023

  • LLMs 是少量样本上下文中的低资源语言学习者

    通过询问对齐方式的另一种选择，全面研究了一致性学习（ICL）及其跨语言变体（X-ICL）对于 25 种低资源和 7 种相对较高资源的语言的有效性，发现了标签对齐的不足，并提供了有价值的洞察力，强调了提升低资源语言的理解能力的重要性。

    Mar, 2024

  • P-ICL：大型语言模型的点上下文学习用于命名实体识别

    本文提出了一种新的提示框架 P-ICL，通过利用一些点实体作为辅助信息实现更精确的大型语言模型（LLMs）实体分类，并提出了基于 K-Means 聚类的点实体选择方法。在一些代表性的命名实体识别基准测试中，我们的实验证实了 P-ICL 和点实体选择策略的有效性。

    May, 2024

  • 通过提示强化上下文学习唤醒大型语言模型以进行知识密集型任务

    提出了一种新的学习范式 —— 提示增强的上下文学习（Hint-enhanced In-Context Learning，HICL），通过从示范中提取与查询相关的知识，以更明确的方式提示大型语言模型（LLM），用于开放域问答，从而提高性能。

    Nov, 2023

  • 多标签文本分类的上下文学习

    利用预训练的密集检索模型，我们在有限样本设置中的常见意图分类数据集上，以及特定情况下的细粒度情感分类中，优于微调性能。通过多个实验，我们分析了模型对于上下文示例和不同模型规模的利用情况，并展示了在不同领域中需要不同程度上下文示例的相似性、类名的语义内容和示例与标签之间的正确对应。

    Sep, 2023

  • 上下文信息提取的指导学习

    提出了一种用于上下文信息提取的指南学习（GL）框架，通过学习生成和遵循指南，在学习阶段，自动从少量标注中综合一组指南，在推理阶段，检索有用的指南以提升上下文学习的性能。

    Oct, 2023