Nov, 2023

深度自然语言特征学习的可解释预测

PDF
TL;DR提出一种将主要复杂任务分解为一组较简单的中间子任务的通用方法，通过回答与最终目标任务相关的二进制问题来实现子任务的自然语言表示。利用一个小型 transformer 语言模型（如 BERT）根据从大型语言模型（LLM）获得的弱标签以自然语言推理（NLI）的方式进行训练生成自然语言学习特征（NLLF）向量。展示了利用 NLLF 向量可以增强任何分类器的性能，并且作为决策树等易于解释的机器学习模型的输入，能够获得较高的性能，有时超过预训练 transformer 模型。成功将该方法应用于两个完全不同的任务：检测学生对开放式数学考试问题的不一致性和筛选气候变化和农业生态学科学论文的摘要进行系统性文献综述。
binary questionsnatural language learned featuresnllflarge language modeldecision tree
发现论文，激发创造
  • 使用生成的事实作为原子的自然语言推理的逻辑推理

    本研究提出了一种模型无关的逻辑框架，以确定每个输入中负责每个模型决策的特定信息并生成可解释的自然语言推理模型，其性能优于当前最先进的神经模型，适用于高度挑战性的 ANLI 数据集。

    May, 2023

  • 利用自然语言推理构建高效的通用分类器

    通过自然语言推理作为通用分类任务，利用较小的 BERT 模型训练出的通用分类器在 33 个数据集上训练，有 389 种不同类别，能在零样本和少样本学习中取得更高的性能。

    Dec, 2023

  • 自然语言推理（NLI）在需求工程任务中的应用经验

    我们研究了自然语言推理 (NLI) 在自动化需求工程任务中的应用。我们集中在需求分类、需求规范缺陷的识别以及利益相关者需求冲突的检测三个任务。通过在不同学习设置下进行的实验，我们明确证明了我们的 NLI 方法在需求规范分析方面超越了传统的 NLP 方法以及基于大型语言模型和聊天机器人模型的其他方法。此外，我们分享了在学习设置方面的经验教训，使 NLI 成为自动化需求工程任务的合适方法。

    Apr, 2024

  • 一种无需特定语言训练数据的深度自然语言推理预测器

    我们提出了一种 NLP 技术，利用通用翻译数据集和知识蒸馏技术，通过两个预训练模型在源语言和目标语言上的表现实现了目标语言的句子关系推理，该技术在多个任务上展现了普适性。

    Sep, 2023

  • CHiLL: 利用大型语言模型从临床笔记中进行零 - shot 定制可解释特征提取

    本研究提出使用大型语言模型来进行零样本特征提取并为医学性风险预测模型提供高层次的自然语言特征选取方法，通过自动化特征提取，不需要手动从原始电子病历中提取特征，提供与参考特征相媲美的性能，同时提高了模型的可解释性。

    Feb, 2023

  • 利用多任务预训练技术，提升基础自然语言解释能力

    通过应用大规模多任务生成 Transformer 模型的最新进展，我们提出了一种新的 VL-NLE 方法，其提供人类更容易理解的解释，并优于当前技术水平。同时，我们还探讨了高质量 NLE 生成的伦理影响和其他最近 VL-NLE 研究中存在的问题。

    Dec, 2022

  • 通过自然语言反馈训练，改进代码生成

    本文提出了一种基于自然语言反馈的训练算法 ILF 并在神经程序综合任务中证明了其有效性，ILF 只需要少量人工编写的反馈意见就能提高 LLM 的表现，并且比仅仅基于演示训练的方法更有效和更节省样本。

    Mar, 2023

  • 基于跨度级别预测的逻辑推理，实现可解释且鲁棒的自然语言推理模型

    通过引入基于逻辑推理的框架，创造出基于逻辑规则的非常透明的模型决策，从而提高自然语言推理模型的可解释性和鲁棒性，并在减少数据的情况下更进一步地改善了模型性能和鲁棒性。

    May, 2022

  • 利用混合自然语言反馈对语言模型进行微调的 LaFFi

    该论文介绍了一种名为自然语言反馈微调 LLM（LaFFi）的替代方法，通过要求 LLM 直接预测从评注者那里得到的反馈，显著提高了领域内问答任务的准确性，为自然语言反馈在 SFT LLMs 领域的应用提供了一个有前途的方向。

    Dec, 2023

  • 不确定的自然语言推断

    本文介绍了不确定的自然语言推断（UNLI），它是自然语言推断（NLI）的一种改进，通过预测主观概率评估来预测结果，利用概率评估重新标记了部分 SNLI 数据集，并使用现有的分类标签化的 NLI 数据进行预训练，最终模型展示了超越分类标签化的 NLI 任务的更微妙推断的人类表现水平。

    Sep, 2019