COLINGSep, 2022

Prompt 结合释义：教授预训练模型理解罕见生物医学词汇

PDF
TL;DR本文提出了一种在生物医学领域中进行基于提示微调的方法，以帮助模型在微调时学习生物医学领域中的罕见术语，实验结果表明，该方法可以在不使用额外参数或训练步骤的情况下在生物医学自然语言推理任务中实现高达 6% 的性能提升。
发现论文，激发创造
  • BayesPrompt: 通过去偏领域抽象在少样本推断中对大规模预训练语言模型进行提示

    通过将已知分布近似为去偏的目标领域的真实分布，并从近似分布中均匀采样一定的代表性特征，生成 PLMs 的最终提示，我们的方法在基准测试中实现了最先进的性能。

    Jan, 2024

  • 装饰范例：一种简单的生物医学关系抽取提示设计方法

    本文探讨在生物医学领域中的关系抽取问题，研究使用集成学习的方式能否提高在 ChemProt 数据集上的预测结果，结果展示了基于掩码的抽取方法有潜力在该特定领域关系抽取任务中取得优异的性能。

    Apr, 2022

  • 使用冻结语言模型的临床提示学习

    研究了 prompt learning 对临床应用决策任务的可行性，并与传统的微调方法进行了直接比较。结果部分符合 prompt learning 文献，提示学习能够在可训练参数更少和需要更少的训练数据的情况下与传统微调相匹配或改进，可以作为一种可替代越来越大的预训练语言模型微调的较低计算资源成本，适用于临床环境。

    May, 2022

  • Few-shot 基于提示微调中避免推断启发式方法

    本文研究表明，在句子对分类任务中，虽然预训练语言模型提供了低数据环境下的优势，但基于提示的微调模型仍然存在使用基于词汇重叠的推理启发式的共同缺陷，加入保留预训练权重的正则化可以缓解这种破坏性的微调倾向，并在三个挑战数据集上显示了可预期的改进。

    Sep, 2021

  • 无需微调？代码智能中的提示微调实验评估

    研究表明预训练模型在很多代码智能任务中具有很好的效果，但由于不同形式的输入难以完全利用预训练模型的知识，这篇论文通过在代码智能任务中进行提示调整，探索它对模型性能和低资源情况的影响，实验表明相对于微调，提示调整在三项代码智能任务中都能实现更好的表现，特别是在低资源情况下表现更为优秀。

    Jul, 2022

  • 零轉化臨床自然語言處理中大型語言模型的提示策略實證評估

    本文综合系统地对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了实验研究，评估了多种提示类型在三种先进的大型语言模型（GPT-3.5、BARD 和 LLAMA2）上的性能，并提出了对临床 NLP 领域提示工程的新见解和指南。

    Sep, 2023

  • 弱监督提示学习下的低资源医学图像分类探索

    通过弱监督的提示学习方法 MedPrompt，自动生成医学提示并利用预训练的视觉 - 语言模型，在低资源情况下提升医学图像识别的性能和准确率。

    Feb, 2024

  • 提示性模型是否无能？

    该论文研究了少样本提示模型是否也利用了表象线索，发现在 MNLI、SNLI、HANS 和 COPA 数据集上，尽管模型在表象线索实例上表现良好，但在没有表象线索的实例上的性能往往低于或仅略优于随机准确度。

    May, 2022

  • 为生物医学自然语言处理调整大型神经语言模型

    本文系统研究了微生物 NLP 中 fine-tuning 的稳定性，提出了一系列技术来解决这个问题，并通过领域特定词汇和预训练来建立更健壮的模型。

    Dec, 2021

  • 超级提示：利用模型无关的语境数据减少视觉常识任务中的数据注释需求

    本文研究如何使用 Prompt-based Fine-tuning 技术提高语言模型和多模式因果变换器模型的效果，结果表明使用只有 35%-40% 的训练数据集便能取得可比较的效果，从而达到显著的时间和费用节约。

    Apr, 2022