Mar, 2024

NL-ITI：优化探测和干预以改进 ITI 方法

PDF
TL;DR大型语言模型容易返回虚假信息，为了解决这个问题，该研究探索了一种介入推理时间的范式，引入了非线性探测和多标记介入方法，称之为 Non-Linear ITI。该方法在多种多项选择基准测试中取得了鼓舞人心的结果，并且在与其他基线和模型相比的实验中表现得更为非侵入性。
large language modelsinference-time-interventionnon-linear itiknowledgemultiple-choice benchmarks
发现论文，激发创造
  • 推理时干预：从语言模型中引出真实答案

    介绍了一种名为 Inference-Time Intervention 的技术，它通过在有限数量的注意头上遵循一组指南，在推理期间改变模型的激活来提高大型语言模型的真实性，该技术在 TruthfulQA 基准测试中显著提高了 LLaMA 模型的性能。

    Jun, 2023

  • LITO: 可学习的真实性优化干预

    LITO 提出了一种可学习的干预方法，通过识别特定语境下的最佳干预强度，提高真实性，并在高度不确定时选择最准确的回答或拒绝回答。

    May, 2024

  • 高维度干预检测：自然语言推理案例研究

    本文研究探索了在自然语言推理任务中探测语言模型中自然逻辑之外的中间语义特征的方法，通过不同的干预探测方法以及限制模型表示能力的探测方法，得出了有关 NLI 模型表示和干预探测的因果推断和分析。同时，带出了干预探测研究的一些局限性和难题。

    Apr, 2023

  • 指令调优的局限性

    在本研究中，通过对 LLMs 进行严格实验和深入分析，我们发现 Instruction Tuning 的各种限制，比如 IT 无法增强 LLMs 的知识或技能、从知识来源中复制响应模式会导致响应质量下降、全参数微调会增加虚构错误等。同时，我们的研究还表明，仅从预训练知识中生成的响应始终优于通过 IT 学习任何形式的新知识的模型生成的响应。

    Feb, 2024

  • 提升生物医学 NLI 模型的健壮性：临床试验的探测方法

    大型语言模型在医学领域中的应用是分析和调查临床试验的任务，本研究使用记忆探测方法研究在临床试验上训练的 Sci-five 模型，通过训练任务特定的探测器，调整模型以提高准确性，并发现探测器的大小对调整流程产生影响。

    Feb, 2024

  • SelectIT: 基于不确定性感知的选择性指导调整大型语言模型的方法

    使用 SelectIT 自动选择高质量的指令调优数据，并应用于选择性 Alpaca-GPT4 数据集，提高模型性能。

    Feb, 2024

  • 迭代前向调整促进语言模型内部学习

    本研究提出了一种有效的、高效的两阶段方法来增强大型语言模型中的上下文学习，该方法利用 Transformer 注意力和梯度下降优化之间的双重形式，将上下文学习过程分为 'Thinking' 和推理阶段，通过递归前向优化演示来增强 LLLs 的推理能力，并且将得到的元梯度通过注意力应用于最终的输出预测中，从而有效地、高效地适应下游任务。

    May, 2023

  • 多任务推理：大型语言模型能否同时遵循多个指令？

    该研究分析了大型语言模型的多任务推理能力，并介绍了 MTI Bench 作为一个综合评估基准，证明多任务推理相对于单任务推理可以显著减少推理时间并提高性能。

    Feb, 2024

  • CALLA 数据集：探索 LLMs 对中医文献的互动知识获取

    使用 CALLA 数据集验证了以医学文献为基础的指导微调数据对大型语言模型在医学领域的知识获取能力、互动应用和准确性的促进作用。

    Sep, 2023

  • 大型语言模型的指导调整：一项调研

    对于指令调优（IT）领域的研究进行了概述，它是增强和可控大型语言模型（LLMs）能力的关键技术。该研究系统回顾了 IT 的一般方法论、IT 数据集的构建、IT 模型的训练以及不同模态、领域和应用的应用，并分析了影响 IT 结果的因素（例如，指令输出的生成、指令数据集的大小等）。还审查了 IT 存在的潜在问题以及对其的批评，指出了现有策略的不足之处，并提出了一些有益的研究方向。

    Aug, 2023