Oct, 2023

借助微调的语言模型和提示工程增强零样本加密货币情绪分析

PDF
TL;DR区块链技术在金融领域产生了革命性影响，通过分散化和透明性，加密货币得到了广泛采用。本文旨在增强加密货币领域情感分析的准确性，研究了对大型语言模型的微调技术。实验结果表明，微调后的模型平均零射击性能提升了 40%，彰显了优化预训练语言模型效率的潜力。此外，本文还探讨了指令微调对不同规模模型的影响，发现较大规模的模型从指令微调中受益，实现了最高平均准确率为 75.16%。相比之下，较小规模的模型由于完全利用模型容量可能出现降低泛化能力的情况。通过实验调查，本文呈现了指令模型在不同指令微调设置下的响应情况，实验结果显示，对于简短简单的指令，模型平均准确率达到了 72.38%。相比之下，针对长且复杂指令，模型的准确率提高了 12%，有效突显了指令特征在提升模型性能方面的重要性。
blockchain technologysentiment analysisfine-tuninglanguage modelsinstruction tuning
发现论文，激发创造
  • 评估语言模型的零样本鲁棒性

    本研究提出了一种简单的方法来提高指导微调模型的鲁棒性，即通过引入 “软提示” 嵌入参数并优化这些参数来最大化语义等效说明的表示之间的相似性。

    Jun, 2023

  • Instruct-FinGPT: 通过指导调整通用大型语言模型进行金融情感分析

    该研究介绍了一种简单而有效的指令调整方法，通过将一小部分有监督的金融情感分析数据转化为指令数据并使用这种方法微调通用型的大型语言模型，从而在金融情感分析中取得了显著的进展，特别是在关键情境下，如对数字理解和语境理解等方面。

    Jun, 2023

  • 精调语言模型是零 - shot 学习器

    通过对自然语言指令模板中的 60 个自然语言处理任务进行调整，我们将一个 137B 预训练语言模型调整为 FLAN 并在未看见的任务数据上进行评估，结果表明，通过指令调整，可以大大改善它在未看见任务上的性能并在 20 个任务上超越了 175B GPT-3 的零样本性能。

    Sep, 2021

  • 金融情绪分析中精调 LLMs 和少样本学习 LLMs 的比较分析

    金融情绪分析在揭示潜在模式和检测新兴趋势方面发挥着重要作用，最近，大型语言模型在不同领域展示了显著的能力，对于各种自然语言处理任务，甚至在零样本和少样本的情境学习中都表现出卓越的能力。然而，在金融情绪分析的背景下，它们的潜力和适用性尚未得到全面探索。为了弥补这一空白，我们采用了两种方法：上下文学习（重点关注 gpt-3.5-turbo 模型）和对金融领域数据集进行微调的 LLM。我们的结果表明，经过微调的较小 LLM 即便参数较少、训练数据集较小，也能够实现与最先进经过微调的 LLM 可比较的性能。此外，LLM 的零样本和一样本性能与经过微调的较小 LLM 和最先进的结果相当。此外，我们的分析表明，增加上下文学习的样本数量，并没有提高金融领域情绪分析的性能。

    Dec, 2023

  • 指示微调语言模型是否能够通过提示识别社会偏见？

    评估指令微调语言模型通过零样本提示，包括思维链（CoT）提示，识别偏见的能力，其中 Alpaca 7B 在偏见识别任务中具有 56.7％的准确性，同时展示了 LLM 规模和数据多样性的扩大可能会进一步提高性能。

    Jul, 2023

  • 机器生成指令的效果

    机器生成的注释是一种资源和成本效益高的微调下游模型的方式。

    Dec, 2023

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022

  • 指令采集：大型语言模型高质量指令数据选取

    本文提出了 InstructMining 用于评估指令遵循数据的质量，并使用该方法选择高质量数据进行 Fei 调。研究结果表明，使用 InstructMining 所选择的数据集表现出更优的性能。

    Jul, 2023

  • 通过集合元调整数据集和提示，为零样本学习调整语言模型

    该论文提出了元调谐（meta-tuning）方法，旨在直接针对零样本学习目标对预训练语言模型进行微调，应用于分类任务，并通过聚合 43 个现有的数据集和 441 个标签描述来构建元数据集。实验证明，相比基于自然语言推理的先前 SOTA 零样本学习系统以及同样大小的 QA 模型，元调整模型在新的任务上表现更好，同时我们认为，增加参数数量会进一步提升 AUC-ROC 分数。

    Apr, 2021

  • Prompt-Tuning 在使用多语言语言模型进行跨语言理解方面比 Fine-Tuning 更好

    本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

    Oct, 2022