May, 2024

可解释的交叉审查技术（ICE-T）：利用高信息量特征提升 LLM 性能

PDF
TL;DR本研究介绍了一种新颖的解释性交叉审讯技术（ICE-T），该技术利用结构化的多提示技术和大型语言模型（LLMs）来提高零样本和少样本方法的分类性能。ICE-T 通过使用一系列生成的提示，使 LLM 从多个方向解决问题，将 LLM 的响应转换为数值特征向量，并通过传统分类器进行处理。该方法不仅保持高解释性，而且使较小、能力较差的模型在零样本条件下达到或超过更大、更先进的模型的性能。我们通过医疗记录和法律文件等各种数据源证明了 ICE-T 的有效性，在分类指标如 F1 分数方面始终超过零样本基线。我们的结果表明，ICE-T 可用于提高复杂决策环境中人工智能应用的性能和透明度。
interpretable cross-examination techniquestructured multi-prompt techniqueslarge language models (llms)interpretabilityzero-shot and few-shot methods
发现论文，激发创造
  • 自监督可解释的基于概念的文本分类模型

    该研究论文提出了一种自监督可解释概念嵌入模型（ICEMs），通过利用大型语言模型的泛化能力，在自监督方式下预测概念标签，并通过可解释的函数提供最终预测结果。实验结果表明，ICEMs 可以以自监督方式进行训练，并达到类似于全监督概念模型和端到端黑盒模型的性能。此外，该模型在预测方面具有解释性、互动性和可控性，能够提供有意义的逻辑解释、允许通过概念干预修改中间预测结果，并引导大型语言模型按照所需的决策路径进行解码。

    Jun, 2024

  • 通过质量评估指导 LLMs 的上下文学习来进行机器翻译

    利用领域特定的质量评估（QE）引导的搜索算法，借助 XGLM 模型，本论文提出了一种新的上下文学习（ICL）方法，以预测机器翻译的质量，选择有效的示例以最大化翻译质量，相较于现有 ICL 方法和预训练语言模型（PLM）mBART-50，实验结果显示了显著的改进和更高的翻译性能。

    Jun, 2024

  • 利用自然语言解释提高自然语言推理的上下文学习鲁棒性

    通过加上自然语言解释，人工智能模型在各种任务中有了显著提升，但在遇到对抗性输入时，效果下降。本文研究了如何通过加入自然语言解释来提高模型对七个对抗性和具有挑战性的自然语言推理数据集的鲁棒性，并提出了 ChatGPT 的几个人工生成的自然语言解释来产生更多自然语言解释的新方法，表现更好。通过对五种常见的大语言模型进行评估，我们发现 ChatGPT 的几个人工生成的自然语言解释的 X-ICL 方法比 ICL 方法提高了 6% 以上。此外，我们还发现之前能有效提高 ICL 性能的提示选择策略，在鲁棒性评估中并不具有与 X-ICL 范式相称的效果。

    Nov, 2023

  • 基于生成强化的变压器的指令上下文增强方法

    利用人类反馈的强化学习从 PPO 出发，ICE-GRT 在特定领域任务中展示了出色的能力，同时保持了通用任务性能，在小型模型中表现了分析能力的下降。

    Jan, 2024

  • 增强大型语言模型的少样本文本到 SQL 能力：关于提示设计策略的研究

    本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。

    May, 2023

  • 合法提示：教授语言模型像律师那样思考

    本文探讨了零样本 / 小样本以及微调方法在法律推理任务中的表现，结果发现，源于特定法律推理技术的提示能够获得最佳结果。实验最终将最佳结果从 0.7037 提升至 0.8148，并且准确性高于 2022 最佳系统的 0.6789，为 0.7431。

    Dec, 2022

  • 从优秀到卓越：利用工具辅助交错提示改进数学推理

    使用 IMP-TIP 框架结合了大型语言模型 (LLMs) 和增强工具的 LLMs 的优势，通过收集和交叉检查多个潜在解决方案，实现对复杂数学推理任务的改进。实验结果表明，IMP-TIP 在数学推理任务中具有增强的能力，相对于传统 LLMs 和增强工具的 LLMs，在准确性和推理多样性上都表现优异。

    Dec, 2023

  • 使用表格提示解锁上下文学习的指导性关系三元组提取

    为了解决设计有效的提示和选择适当的示范的两个挑战，我们提出了一种将 RTE 任务转化为表生成任务的表格提示方法（TableIE），并提出了只选择和注释少量样本的指导式上下文学习方法（I$^2$CL），从而同时解决了 ICL for RTE 中的性能问题。

    Feb, 2024

  • 优化上下文示例：是否为 NICE 的？

    大型语言模型通过上下文学习与优化可以在广泛的任务上取得显著效果，然而，该研究调查了当提供任务特定指令时，优化上下文示例的必要性，并发现对于某些任务，对上下文示例进行优化产生递减收益，为此引入了用于测量任务可学习性的度量方法，从而提供了一种启发式方法，帮助决定针对任何新任务是优化指令还是优化上下文示例。

    Feb, 2024

  • 零轉化臨床自然語言處理中大型語言模型的提示策略實證評估

    本文综合系统地对五个临床自然语言处理任务（临床意义消除、生物医学证据提取、共指消解、药物状态提取和药物属性提取）的提示工程进行了实验研究，评估了多种提示类型在三种先进的大型语言模型（GPT-3.5、BARD 和 LLAMA2）上的性能，并提出了对临床 NLP 领域提示工程的新见解和指南。

    Sep, 2023