BLoB：大型语言模型的贝叶斯低维度适应

Jun, 2024

BLoB：大型语言模型的贝叶斯低维度适应

BLoB: Bayesian Low-Rank Adaptation by Backpropagation for Large Language Models

Yibin Wang, Haizhou Shi, Ligong Han, Dimitris Metaxas, Hao Wang

TL;DR大语言模型（LLMs）在推断过程中常常过于自信，尤其是当它们适应具有有限数据的下游领域特定任务时。本文通过在 LLMs 训练后采用近似贝叶斯估计的方法来解决这个问题，从而使其能够量化不确定性。然而，这种训练后方法的性能受训练期间学习的参数严重限制。在本文中，我们超越了训练后的贝叶斯化，并提出了一种名为贝叶斯低秩适应的反向传播（BLoB）的算法，该算法在整个微调过程中持续和联合调整 LLM 参数的均值和协方差。我们的实证结果验证了 BLoB 在广义化与不确定性估计方面的有效性，同时在分布内和分布外数据上进行评估。

Abstract

large language models (LLMs) often suffer from overconfidence during inference, particularly when adapted to downstream domain-specific tasks with limited data. Previous work addresses this issue by employing app

large language models overconfidence bayesian estimation bayesian low-rank adaptation generalization

发现论文，激发创造

大语言模型的贝叶斯低秩适应

使用 Laplace-LoRA 方法，对参数高效微调的大型语言模型进行贝叶斯方法，提高模型的校准性。

Aug, 2023

大型语言模型用于增强贝叶斯优化

LLAMBO 是一种将大型语言模型（LLM）与贝叶斯优化（BO）结合的方法，通过在自然语言中提出有前景的解决方案，利用上下文理解、少样本学习能力和 LLM 的领域知识来增强基于模型的 BO 的各个组件，特别是在稀疏的观测阶段，LLAMBO 在零样本热启动、代理模型和候选样本的改进方面表现出有效性。

Feb, 2024

大规模语言模型指令调优的超参数优化

研究采用黑盒优化技术通过 LoRA 方法调优大型语言模型的超参数选择，以提高性能和人工对齐。

Dec, 2023

BDLOB: 基于贝叶斯深度卷积神经网络的限价单簿

利用退火变分推理，我们首次将贝叶斯神经网络应用于限价买卖订单簿，证明了通过后验预测分布确定的不确定性信息能够用于头寸控制，避免不必要的投资交易，提高了利润，并且还提高了预测性能作为随机正则化器。

Nov, 2018

马尔可夫随机场参数学习的块信念传播

本文提出了一种称为 “块置信传播学习” 的方法，该方法使用近似边际的块坐标更新来计算梯度，从而避免了对整个图形模型进行推理。通过实验证明，该方法相较于标准训练方法具有更高的可扩展性。

Nov, 2018

基于潜在伯努利变量的自适应无参数鲁棒学习

我们提出了一种高效的无参数方法，用于从受损训练集中进行统计学习。我们使用潜在的伯努利变量来确定受损和非受损样本，从而将鲁棒学习问题形式化为最大化似然函数，在其中对潜在变量进行边缘化处理。我们使用基于期望最大化的高效变分推断方法来解决由此产生的优化问题。所提出的方法通过自动推断损坏程度和识别异常值，同时添加最小的计算开销，胜过现有技术水平。我们在各种机器学习任务上展示了我们的鲁棒学习方法，包括在线学习和深度学习，在这些任务中，它表现出适应不同噪声水平和高预测准确性的能力。

Dec, 2023

ADO-LLM: 基于上下文学习的模拟设计贝叶斯优化

ADO-LLM 整合了大型语言模型与贝叶斯优化用于模拟设计优化，利用大型语言模型的领域知识并结合贝叶斯优化的多样性和探索能力实现了设计效率和效果的显著提升。

Jun, 2024

大规模语言模型的贝叶斯低秩自适应的高斯随机权重平均化

基于小数据集的精调大型语言模型常常存在过度自信和校准不佳的问题，为了解决这些挑战，我们提出了低秩自适应和高斯随机权重平均的简单结合，促进了大型语言模型中的近似贝叶斯推断。通过在多个自然语言处理基准测试中进行广泛测试，我们证明了我们简单而高效的方法能够提高模型的泛化能力和校准性。我们进一步展示了我们的方法在分布变化方面表现出更强的鲁棒性，这体现在其在未知分布任务上的表现。

May, 2024

可扩展学习贝叶斯神经网络的概率反向传播

本论文介绍了一种学习贝叶斯神经网络的新方法，称为概率反向传播 (PBP)，通过前向概率传递和后向梯度计算，PBP 比现有的贝叶斯技术更具可伸缩性，并提供了准确的网络权重后验方差估计。

Feb, 2015

从黑盒模型中学习私有模型：引导原始潜变量

该论文提出了一种新的 Back-Propagated Black-Box Adaptation（BPBA）方法，通过该方法用户可以更好地训练其私有模型，从而使得基础 / 源模型的使用更加轻松，并且防止泄露和误用，并提出了一种新的训练策略 Bootstrap The Original Latent（BTOL）来充分利用基础 / 源模型。在三个不同的数据集上的实验表明，该策略在各种设置中都是高效和强健的。

Mar, 2023