Mar, 2024

新闻标题的定向情绪研究：探索不同层次的提示式规范化

PDF
TL;DR利用各种提示设计，在新闻标题的有针对性情感分析中，调节 LLM 模型的性能。
targeted sentiment analysisfine-tuned encoder modelsllmsprompt designcalibration error
发现论文，激发创造
  • 计算社会科学任务中的提示设计对结果具有重要影响，但其方式难以预测

    手动注释计算社会科学任务的数据成本高昂、耗时且情感压力大。最近的研究表明，零 - shot 设置下，语言模型可以执行此类注释任务，但我们对于提示设计如何影响语言模型的遵从和准确性了解甚少。我们进行了大规模的多提示实验，以测试模型选择（ChatGPT、PaLM2 和 Falcon7b）和提示设计特征（定义包含、输出类型、解释和提示长度）对 LLM 生成注释的遵从和准确性的影响，针对四个计算社会科学任务（毒性、情感、谣言态度和新闻框架）。我们的结果表明，LLM 的遵从和准确性高度依赖于提示。例如，提示使用数值得分而不是标签会降低所有 LLM 的遵从和准确性。整体而言，最佳的提示设置取决于任务，微小的提示更改会导致生成标签分布上的巨大变化。通过显示提示设计对 LLM 生成注释的质量和分布有显著影响，本研究作为研究人员和从业者的警示和实践指南。

    Jun, 2024

  • 使用提示识别和测量预训练语言模型中令牌级情感偏见

    本文提出了两种基于 prompt tuning 的情感分析测试方法：情感联想测验（SAT）和情感转移测试（SST），用以检测 PLMs 中的潜在偏差，并表明 fine-tuning 可能会增加 PLMs 中现有的偏见。

    Apr, 2022

  • 触发语言：什么语言属性使得提示成功？

    在这项研究中，我们调查了不同规模、预训练和指导调优的 LLMs 在在语义上等效但语言结构不同的提示上的性能，发现 LLMs 的性能不能通过困惑度、词频、歧义或提示长度来解释，并提出了对提示研究更健壮和综合的评估标准的建议。

    Nov, 2023

  • 探索基于提示学习范式的小型语言模型用于高效的领域特定文本分类

    在本研究中，我们调查了小语言模型（具有不到 10 亿参数）与 prompt-learning 范例相结合，在零样本和少样本场景下针对零售业中客户 - 代理商互动的领域特定文本分类的潜力。我们的评估结果显示，在少样本设置下进行基于提示的模型微调时，220M 参数的典型小语言模型 T5-base 可以在有限的标记数据（高达全数据的 15%）上实现约 75% 的准确性，显示了小语言模型与 prompt-learning 的巨大潜力。基于此，我们进一步验证了主动少样本抽样和 prompt-learning 流程中的集成策略对显著性能提升的有效性。此外，在固定模型的零样本设置中，我们强调了一个关键的观察结果，即尽管具有约 1540B 参数的 GPT-3.5-turbo 可以达到 55.16% 的准确性，但当仅有 0.5% 参数的 FLAN-T5-large 使用经过优化的提示时，其准确性超过 31%，相比使用未经优化提示的准确性提升了近 13%。我们的发现强调了使用小语言模型进行 prompt-learning 的分类任务中的潜力，强调了主动少样本抽样和集成策略在少样本设置中的好处，并强调了零样本设置中提示工程的重要性。

    Sep, 2023

  • 量化语言模型对触发设计中伪特征的敏感性，或：我如何开始担忧触发格式

    大语言模型的关键因素在于提示设计对其性能会产生巨大影响，通过许多方面的分析研究，我们发现几种常用开源大语言模型对微妙的提示格式变化具有极高的敏感性，这种敏感性在不断增加模型大小、样本数量或进行指令调整时仍然存在。

    Oct, 2023

  • 零样本分类中的提示复杂度导航：计算社会科学中大型语言模型的研究

    在计算社会科学分类任务中，评估了 ChatGPT 和 OpenAssistant 两种公共可访问的 LLM 的零次效果，并研究了各种提示策略的影响。发现在零次设置下，当前 LLMs 无法与较小的经过微调的基线变压器模型（如 BERT）的性能匹配。此外，发现不同的提示策略可以显着影响分类准确性，准确性和 F1 分数的差异超过 10％。

    May, 2023

  • 一种混合软提示的可控数据生成方法

    本文介绍了一种利用大型语言模型作为数据增强工具的技术，即利用软提示的混合模型进行参数有效的数据生成，并通过去噪机制提高生成数据的质量，此方法能够在复杂预测任务中实现对标签语义的保留，达到优于强基准的最新结果。

    Mar, 2023

  • 利用大型语言模型解读新闻中的政治实体情感：零样本与少样本策略

    利用大型语言模型（LLMs）预测政治新闻文章中特定实体的情感，并通过少样本学习（few-shot）策略和连续思维（COT）方法增强情感预测准确率。研究结果发现，LLMs 在捕捉实体特定情感方面优于经过调优的 BERT 模型，并且通过在上下文中少样本学习和自一致机制可提高情感预测的连贯性。然而，COT 提示方法的有效性存在一定的不一致性，因此合适的提示策略和模型架构至关重要。

    Apr, 2024

  • 具备自然语言提示的开放式目标情感分类

    在研究中，提供了基于自然语言提示的方法来解决无标注语料下的商业产品中各方面情感分析问题。在此基础上，还提出了将 ATSC 转化为 NLI 任务的方法，并在 SemEval 2014 的 laptop 领域中实现了较高的性能，同时还可以隐含地检测出未提及的方面。

    Sep, 2021

  • 通过检索增强的大型语言模型增强金融情感分析

    在金融情感分析领域，传统的 NLP 模型受到参数大小和训练数据范围的限制，以及简洁的财经新闻文本缺乏上下文的问题，而无法很好地泛化和提高准确性。为了解决这些挑战，本研究引入了一种基于检索增强的大型语言模型（LLMs）框架，该框架包括一个指导调整的 LLMs 模块和一个从可靠外部来源检索附加上下文的模块。与传统模型和 ChatGPT、LLaMA 等 LLMs 相比，我们的方法在准确性和 F1 得分方面取得了 15％到 48％的性能提升。

    Oct, 2023