WinoDict: 探究语言模型的上下文词汇习得能力

Sep, 2022

WinoDict: 探究语言模型的上下文词汇习得能力

WinoDict: Probing language models for in-context word acquisition

Julian Martin Eisenschlos, Jeremy R. Cole, Fangyu Liu, William W. Cohen

TL;DR本文介绍了一种新的上下文学习范例，以测量大型语言模型在推理过程中学习新单词的能力，并通过 Winograd 风格的共指解决问题提出了基准测试，探讨了 LLMs 的时序退化现象和其限制。

Abstract

We introduce a new in-context learning paradigm to measure Large Language Models' (LLMs) ability to learn novel words during inference. In particular, we rewrite Winograd-style co-reference resolution problems by replacing the key concept word with a synthetic but plausible word that t

large language models in-context learning word acquisition diachronic degradation benchmark

发现论文，激发创造

语言模型中的概念表示分析：借助逆向词典探针

基于逆向字典任务，探索和提升大型语言模型的推理能力，并预测其在一般推理性能上的表现。

Feb, 2024

他眨眼还是点头？用于评估语言模型词语理解能力的挑战性基准测试

通过填空式洞察问题查询语言模型，以评估其获取的语言知识类型。现有的洞察数据集主要关注单词与实体之间的关系。本文提出 WDLMPro 直接使用单词的字典定义来评估单词的理解，并发现三种受欢迎的预训练语言模型难以匹配单词及其定义，这表明它们对许多单词的理解存在缺陷，新的洞察任务是一个具有挑战性的问题，可以帮助未来的 LMs 研究。

Feb, 2021

有监督的知识提升大语言模型在上下文学习中的表现

通过提示工程，大型语言模型（LLMs）展示了在上下文学习中的新兴能力。最近在大规模生成模型方面的进展进一步扩展了它们在实际语言应用中的使用。然而，在自然语言理解和问题回答方面，提高 LLMs 的泛化能力和准确性的关键挑战仍未得到充分探索。

Dec, 2023

大型语言模型可能是懒惰学习者：在上下文学习中分析快捷方式

本篇研究旨在探索语言模型的泛化能力，结果表明语言模型更可能利用提示中的快捷方式，尤其是模型变得很大时。

May, 2023

语言模型利用交叉任务上下文学习解决数据稀缺的新任务

该研究论文探讨了大型语言模型 (LLMs) 是否能够根据不同任务示例的上下文信号来解决新任务，并设计了一个跨任务提示设置，并表明 LLMs 在无需上下文提示的情况下能够获得显著的性能提升，同时展示了模型激活相似性与跨任务示例效果之间的强相关性。

May, 2024

描绘模糊性：对 Winograd 模式挑战的视觉转折

利用 GPT-4 生成提示并使用 Diffusion Attentive Attribution Maps (DAAM) 进行热图分析，我们引入了一个新的数据集 WinoVis，用于在多模态环境中对文本到图像模型进行代词消岐。通过对连续模型版本的评估，我们发现尽管有逐步的进展，Stable Diffusion 2.0 在 WinoVis 上的准确率仅为 56.7％，只略微超过随机猜测。进一步的错误分析确定了未来研究的重要方向，旨在提升文本到图像模型在解释和与复杂视觉世界交互的能力。

May, 2024

大型语言模型是否能理解上下文？

理解上下文是理解人类语言的关键，本论文介绍了一个上下文理解基准，通过适应现有数据集来评估生成模型的能力，并发现预先训练的稠密模型在理解复杂上下文特征方面比优化调整模型困难。

Feb, 2024

利用大型语言模型进行端到端语音识别的语境化

通过引入一种新方法，结合大型语言模型（LLMs）来进行上下文化的语音识别模型，我们证明通过添加适配器的少量可训练参数，可以在保持相同的文本输入功能的同时，实现预训练 LLM 的上下文化语音识别能力并显著提高性能。

Sep, 2023

上下文学习作为隐式贝叶斯推断的解释

本研究探讨了大语言模型中的上下文学习现象，并证明了基于长期相关性的预训练可以促进上下文学习。通过人工合成数据集，实验结果表明了模型规模对上下文学习的影响，以及例子顺序和零样本学习等现象。

Nov, 2021

利用上下文学习高效探索大型语言模型进行文档级机器翻译

通过上下文学习，我们提出了一种上下文感知提示方法（CAP），使得大型语言模型能够通过上下文学习生成更准确、连贯、一致的翻译。CAP 结合多级注意力，在当前句子中选择与之最相关的句子作为上下文，从这些句子中生成一个摘要。随后，从数据存储中检索与摘要最相似的句子作为演示，有效地指导大型语言模型生成连贯一致的翻译。我们在各种文档级机器翻译任务中进行了大量的实验，结果表明我们的方法在零代词翻译（ZPT）和文学翻译任务中特别有效。

Jun, 2024