Feb, 2024

自我增强上下文学习用于无监督词语翻译

PDF
TL;DR最近的研究表明，尽管大型语言模型在少样本设置中展示了强大的词汇翻译或双语词典归纳能力，但在无监督场景中（特别是对于资源较少的语言），它们仍无法与 ' 传统 ' 的基于映射方法的性能相媲美。为了解决这一挑战，我们提出了自我增强的上下文学习（SAIL）用于无监督的双语词典归纳：从零样本提示开始，SAIL 迭代地通过从一个 LLM 中归纳一组高置信度的词汇翻译对用于上下文学习（ICL），然后再次应用于同一个 LLM 进行 ICL。我们的方法在两个广泛覆盖的双语词典归纳基准测试中都显著优于 LLMs 的零样本提示，并且在整体上优于基于映射的基准线。除了达到现有无监督双语词典归纳性能的最新水平外，我们还对 SAIL 进行了全面的分析，并讨论了其局限性。
large language modelsbilingual lexicon inductionunsupervised scenarioself-augmented in-context learningword translation pairs
发现论文，激发创造
  • SAIL：搜索增强指令学习

    本文提出了一种搜索增强的指导学习 （Search-augmented instruction learning, SAIL）方法，该方法通过利用搜索引擎生成的跨度广泛的搜索结果来提高大型语言模型的生成能力和指令跟踪能力，从而在透明度敏感任务，如开放式问题回答和事实检查中表现出了非常显著的优势。

    May, 2023

  • 关于使用大型语言模型进行双语词典归纳

    使用最新一代的大型语言模型，我们系统地研究了双语词典诱导（BLI）任务，包括无监督的零样本诱导、少样本上下文诱导和标准的 BLI 模型微调，并证明了与当前 BLI 方法相比，这种方法在许多语言对上取得了最新的 BLI 成绩。

    Oct, 2023

  • 多语言 LLM 通过对齐更好地进行跨语言上下文学习

    本研究分析了在跨语言文本分类中使用 in-context learning 的问题，并提出了一种称为 Cross-lingual In-context Source-Target Alignment (X-InSTA) 的 prompt 构建策略，该策略在 44 个不同的跨语言数据集上表现出了很好的性能。

    May, 2023

  • 零样本上下文学习的演示增强

    我们提出了一种名为 Demonstration Augmentation for In-context Learning (DAIL) 的方法，通过利用模型之前预测的历史样本作为后续样本的演示，来解决大型语言模型在零 - shot 学习中依赖外部信息并且生成过程耗时的问题，同时在没有任何外部信息的情况下，DAIL 不增加推理成本可以显著提高模型的性能。

    Jun, 2024

  • 自我生成的上下文学习：利用自回归语言模型作为示范生成器

    本文提出自生成上下文学习（SG-ICL）方法，用于生成 pre-trained language model（PLM）自身的演示文稿，以便在上下文学习中减少对外部演示的依赖。在四个不同的文本分类任务上进行实验，并表明 SG-ICL 显著优于零样本学习，一般值约为 0.6 金培训样本。此外，所生成的演示文稿与从训练数据集中随机选出的演示文稿相比，表现更具一致性和低方差。

    Jun, 2022

  • DAIL: 利用自己的改写来增强上下文学习的数据增强

    通过数据增强的方法，利用大规模预训练的语言模型，提出了一种名为 DAIL 的上下文学习方法，该方法在低资源环境中取得了比标准的 ICL 方法和其他组合方法更好的效果，并探索了投票一致性作为模型置信度评分的应用。

    Nov, 2023

  • 面向视觉与语言模型的多模态上下文学习

    通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

    Mar, 2024

  • 探究上下文学习行为：与监督学习的比较

    大型语言模型（LLMs）在上下文学习（ICL）方面展示了显着的能力，在没有明确预训练的情况下，仅通过少量的训练示例学习新任务。然而，尽管 LLMs 获得了成功，对于 ICL 如何从给定的提示中学习知识却知之甚少。在本文中，为了对 ICL 的学习行为有所了解，我们通过 ICL 和监督学习 (SL) 分别使用相同的演示示例训练相同的 LLMs，并研究它们在一系列分类任务中在标签扰动（即嘈杂标签和标签不平衡）下的表现。通过广泛的实验证明，我们首先发现黄金标签对下游上下文性能有显著影响，尤其是对于大型语言模型；然而，对于所有模型大小，不平衡标签对 ICL 的影响较小。其次，通过与 SL 进行比较，我们实证表明 ICL 对标签扰动的敏感性较低，并且随着模型大小的增加，ICL 逐渐获得与 SL 相当的性能。

    Jul, 2023

  • 超越离线映射：通过上下文锚定学习跨语言词向量

    本研究提出了一种基于弱监督（仅有相同单词列表）的方法，通过固定目标语言的嵌入并学习与之对齐的源语言的嵌入来解决不同语言的单词嵌入相似性不一致的问题，并在双语词表归纳和 XNLI 任务上取得了较好的结果，相比于传统的映射方法表现更好。

    Dec, 2020

  • 无监督机器翻译实现双语词库归纳

    本文提出一种新的方法，使用无监督机器翻译的方法生成合成平行语料库，进而提取双语词汇表。该方法可与任何词向量和跨语言映射技术一起使用，并且除了用于训练词向量的单语语料库外，不需要任何其他资源。在评估方面，与最近邻和 CSLS 技术相比，该方法在标准 MUSE 数据集上提高了 6 个准确度点，确立了新的最先进技术。

    Jul, 2019