低资源环境下的预训练语言模型解释与归因分析

Mar, 2024

低资源环境下的预训练语言模型解释与归因分析

Explaining Pre-Trained Language Models with Attribution Scores: An Analysis in Low-Resource Settings

Wei Zhou, Heike Adel, Hendrik Schuff, Ngoc Thang Vu

TL;DR通过分析从基于提示的模型中提取的归因得分的合理性和忠实性，并将其与从微调模型和大型语言模型中提取的归因得分进行比较，我们发现使用基于提示的范例（无论是基于编码器的模型还是解码器的模型）比在低资源环境下微调模型产生更合理的解释，并且 Shapley Value Sampling 在产生更合理和忠实的解释方面始终优于注意力和积分梯度。

Abstract

attribution scores indicate the importance of different input parts and can, thus, explain model behaviour. Currently, prompt-based models are gaining popularity, i.a., due to their easier adaptability in

attribution scores prompt-based models plausibility faithfulness low-resource settings

发现论文，激发创造

大语言模型的公平指导少样本提示

本文提出了一个度量标准，评估了一个固定提示对标签或给定属性的预测偏差，并提出了一种新的基于贪心搜索的搜索策略来确定最佳提示，以提高上下文学习的性能，并在多种下游任务中使用 GPT-3 等最先进的主流模型进行全面实验。结果表明，我们的方法可以有效提高模型的在上下文学习性能。

Mar, 2023

XPrompt：通过联合提示归因解释大型语言模型的生成

该研究引入了基于联合提示归属的反事实解释框架 XPrompt，旨在解释少数提示文本是如何共同影响大型语言模型（LLM）的完整生成，并通过定义和利用多个评估指标来展示我们框架的忠实度和效率。

May, 2024

预训练语言模型为什么比零 / 少样本学习者更好？

本文提出了一种理论框架，以解释在零 / 少样本场景下提示学习的功效，我们进一步假设语言差异可以衡量提示的质量，并且通过基于 perplexity 的注释无关模板选择方法，使我们能够提前预测提示性能。

Sep, 2022

提示性模型是否无能？

该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。

May, 2022

POUF: 面向提示的无监督微调大规模预训练模型

本研究提出一种无监督的精调框架，用于快速和直接地向未标记的目标数据进行深度学习模型的预训练，并在图像分类、情感分析和自然语言推理任务中实现了持续的改进。

Apr, 2023

Few-shot 提示在文本推理中解释的不可靠性

本文研究了将 GPT-3 等大型语言模型与说明相结合是否能够提高上下文学习效果，发现对于涉及文本推理的自然语言推理和问答任务，使用不同样式的说明对 OPT、GPT-3（davinci）和 InstructGPT（text-davinci-001）等四个 LLM 的性能仅会带来小至中等的准确性提高，而 text-davinci-002 能够带来更实质性的提高，并且 LLM 产生的说明可能不支持、甚至与模型预测不一致，但这些说明仍有助于验证模型的预测，在此观察基础上，文章通过训练校准器使用自动提取的评分评估说明的可靠性，从而在全部数据集上实现后处理性能的提高。

May, 2022

超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

Apr, 2022

基于大规模语言模型的不确定性感知可解释推荐

为了提高用户满意度和建立信任，推荐系统内提供解释尤为重要，特别是对为用户定制的推荐物品进行解释。在这个研究领域中，主要方法是生成基于文本的解释，主要侧重于应用大型语言模型（LLMs）。然而，由于时间限制和计算资源限制，对于可解释性推荐来说，细化 LLMs 的工作并不可行。作为替代方案，当前的方法是训练提示而不是 LLMs。在这项研究中，我们开发了一个模型，利用用户和项目输入的 ID 向量作为 GPT-2 的提示。我们在多任务学习框架内使用联合训练机制来优化推荐任务和解释任务。这种策略能更有效地探索用户的兴趣，提高推荐的效果和用户满意度。通过实验，在 Yelp、TripAdvisor 和 Amazon 数据集上，我们的方法在解释能力评估指标上分别达到 1.59 DIV、0.57 USR 和 0.41 FCR，相比于四种现有技术，表现出卓越性能。此外，我们发现所提出的模型能够确保在这三个公共数据集上文本质量的稳定。

Jan, 2024

LLM 型指标的提示策略探究

通过分析提示策略、评分聚合和解释性等多个方面，本研究探索了基于开源大型语言模型（LLMs）的度量方法在自然语言生成品质评估中的潜力，并提供了有关开源 LLMs 评估能力的实验结果和有效的提示策略。

Nov, 2023

基于提示的多任务学习中社交偏见的测量

本论文探讨了在多任务文本生成模型中，使用问题 - 答案格式输入与前提 - 假设格式输入是否会影响模型的社会偏见，并使用两个基准测试评估了 T0 模型在其中的表现，结果表明前者会使得模型表现出更多的社会偏见。

May, 2022