Dec, 2023

CHIP2023 中 PromptCBLUE 共享任务概述

PDF
TL;DR该研究论文介绍了 PromptCBLUE 共享任务，该任务重塑了 CBLUE 基准，并为中文开放领域或医学领域的大型语言模型（LLMs）提供了一个良好的测试平台，探索了 LLMs 的多任务提示优化和开源 LLMs 的上下文学习能力调查，并总结了各参与团队在不同方法上的技术和结果评估。
promptcbluecblue benchmarkmedical natural language processingmultitask prompt tuningin-context learning capabilities
发现论文，激发创造
  • PromptCBLUE: 医学领域的汉语提示调优基准

    为了促进医学大语言模型的研究，我们将中文生物医学语言理解评估 (CBLUE) 基准重新构建为一个大规模的提示调整基准，PromptCBLUE，用于评估中文大语言模型在广泛的生物医学任务上的多任务能力，包括医学实体识别、医学文本分类、医学自然语言推理、医学对话理解和医学内容 / 对话生成。在这些任务上，我们已经进行了实验并报告了目前使用不同微调技术微调的 9 个中文大语言模型的结果。

    Oct, 2023

  • CBLUE：一个中文生物医学语言理解评估基准

    本文介绍了第一个中文生物医学语言理解基准评估（CBLUE），其涵盖了一系列自然语言处理任务，包括命名实体识别、信息抽取、临床诊断标准化、单句 / 句对分类，与相应的在线平台进行模型评估、比较和分析，并通过当前的 11 个预训练中文模型的实证结果表明，优秀的神经模型表现远低于人类水平。

    Jun, 2021

  • CRCL 在 SemEval-2024 任务 2 中的简单提示优化

    我们提出了 SemEval 2024 任务 2 挑战的基线，其目标是确定临床试验报告部分和陈述之间的推理关系。我们应用语言模型作为服务（LMaaS）的 LLM Instruct 模型进行提示优化技术，并观察到合成 CoT 提示显著增强了手工制作的提示，与最近的研究结果一致。

    May, 2024

  • 一种用于可解释的心理健康语言模型的双提示方法

    提出了一种双提示方法，通过使用领域特定的信息和基于语言模型的一致性评估器，实现知识感知证据提取和证据总结，并综合实验证明了该方法的有效性和帮助临床医生评估心理状态进展的潜力。

    Feb, 2024

  • 零轉化臨床自然語言處理中大型語言模型的提示策略實證評估

    本文综合系统地对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了实验研究，评估了多种提示类型在三种先进的大型语言模型（GPT-3.5、BARD 和 LLAMA2）上的性能，并提出了对临床 NLP 领域提示工程的新见解和指南。

    Sep, 2023

  • 2023 Eval4NLP 子任务：使用促使大型语言模型作为解释性⽅法的度量

    介绍了 Eval4NLP 2023 共享任务，要求参与者在机器翻译和摘要评估中探索提示和分数提取，并评估了参与者的方法。在没有 fine-tuning 的限制下，最佳系统的表现与使用更大模型开发的最新的无参考度量标准（包括 GEMBA 和 Comet-Kiwi-XXL）相媲美甚至超过，并对 LLMs 的解释的可行性进行了小规模人类评估。

    Oct, 2023

  • 探索使用提示的大型语言模型作为可解释的度量

    本文描述了 IUST NLP 实验室在 Eval4NLP 2023 会议上提出的一种用于解释性评估的零样本基于提示的策略，该策略使用了大型语言模型（LLMs）来评估总结任务，并通过实验证明了 LLMs 在自然语言处理（NLP）中，特别是在总结领域具有良好的潜力。在这些实验中，使用了少样本和零样本的方法。最佳提示在测试数据的文本总结任务中与人类评估的肯德尔相关性达到了 0.477。代码和结果可以在 GitHub 上公开获取。

    Nov, 2023

  • LLM 型指标的提示策略探究

    通过分析提示策略、评分聚合和解释性等多个方面，本研究探索了基于开源大型语言模型（LLMs）的度量方法在自然语言生成品质评估中的潜力，并提供了有关开源 LLMs 评估能力的实验结果和有效的提示策略。

    Nov, 2023

  • 帮助语言模型学习更多知识：多维任务提示用于少样本调整

    通过提出多维任务提示学习方法（MTPrompt），将更多的任务相关信息嵌入提示中，以激发大型语言模型中嵌入的知识，从而实现在少样本和五个不同数据集上取得最佳结果，并在不同实验设置和削减实验中展示了该方法的有效性和稳定性。

    Dec, 2023

  • 视觉语言模型的软上下文共享 Prompt 调整

    本研究提出了一种基于多任务学习的视觉语言模型 Prompt Tuning 的方法 SoftCPT，用于同时优化多个 Few-Shot 任务的任务共享元网络，结果表明该模型能够通过软共享模式下的多任务学习实现比 CoOp 更好的结果。

    Aug, 2022