Mar, 2023

从黑盒模型中学习私有模型：引导原始潜变量

PDF
TL;DR该论文提出了一种新的 Back-Propagated Black-Box Adaptation（BPBA）方法，通过该方法用户可以更好地训练其私有模型，从而使得基础 / 源模型的使用更加轻松，并且防止泄露和误用，并提出了一种新的训练策略 Bootstrap The Original Latent（BTOL）来充分利用基础 / 源模型。在三个不同的数据集上的实验表明，该策略在各种设置中都是高效和强健的。
data privacymodel privacyback-propagationtraining strategydomain adaptation
发现论文，激发创造
  • 自举型潜变量：自监督学习的一种新方法

    本文提出了一种新的自监督图像表示学习方法 Bootstrap Your Own Latent（BYOL），通过在线网络和目标网络相互交互和学习，从图像的增强视图中训练在线网络以预测在不同增强视图下相同图像的目标网络表示，并同时使用在线网络的缓慢移动平均更新目标网络，通过使用 ResNet-50 架构进行线性评估，BYOL 在 ImageNet 具有 74.3％的 top-1 分类准确率，在转移和半监督基准测试中 BYOL 表现与当前技术水平相当或更好。

    Jun, 2020

  • BLoB：大型语言模型的贝叶斯低维度适应

    大语言模型（LLMs）在推断过程中常常过于自信，尤其是当它们适应具有有限数据的下游领域特定任务时。本文通过在 LLMs 训练后采用近似贝叶斯估计的方法来解决这个问题，从而使其能够量化不确定性。然而，这种训练后方法的性能受训练期间学习的参数严重限制。在本文中，我们超越了训练后的贝叶斯化，并提出了一种名为贝叶斯低秩适应的反向传播（BLoB）的算法，该算法在整个微调过程中持续和联合调整 LLM 参数的均值和协方差。我们的实证结果验证了 BLoB 在广义化与不确定性估计方面的有效性，同时在分布内和分布外数据上进行评估。

    Jun, 2024

  • 利用可迁移的先验知识和查询反馈学习黑盒攻击者

    提出了一种名为 “Learnable Black-Box Attack” 的新方法，将基于转移和基于查询的黑盒攻击相结合，在 Surrogate Model 下进行攻击，并通过高阶梯度逼近（HOGA）有效地利用了查询反馈。实验结果表明，“Learnable Black-Box Attack” 方法明显优于现有技术。

    Oct, 2020

  • 医学图像分割的黑盒自适应

    在医学图像分割中，通过使用黑盒适应技术 (BAPS)，我们不需要了解基础模型的权重或梯度，并且可以显着提高原始模型的性能约 4%。

    May, 2024

  • 自主引导你的方差

    Bootstrap Your Own Variance (BYOV) 结合 Bootstrap Your Own Latent (BYOL) 和 Bayes by Backprop (BBB) 方法，提供了关于模型不确定性的先验证据，改善了 BYOL 基线，并在各种扩充测试中展现更好的校准和可靠性。

    Dec, 2023

  • 有效梯度逼近下的视觉 - 语言模型的黑盒调优

    通过合作式黑盒调整，本研究介绍一种参数高效微调方法，用于对视觉语言模型进行特定任务或场景的适应。使用文本提示优化和输出特征调整来处理闭源模型的访问障碍，并在十一个下游基准测试中得到显著改进。

    Dec, 2023

  • 即使没有批量统计数据，BYOL 仍然有效

    本研究提出 Bootstrap Your Own Latent (BYOL) 作为一种自监督学习方法，用于图像表示学习，并探讨与批归一化 (batch normalization) 的关系。实验结果表明，使用批独立归一化可以取得与传统 BYOL 相当的性能，未必需要批归一化。

    Oct, 2020

  • 推进泛化迁移攻击：基于初始化衍生的双层优化和动态序列截断

    提出了一种基于双层优化框架的转移攻击方法 (BETAK)，通过引入超梯度响应 (HGR) 估计和动态序列截断 (DST) 技术，提供了算法分析和收敛保证，显著提升对不同受害者和防御方法的攻击成功率。

    Jun, 2024

  • 基于自举潜变量的强鲁棒性表示学习的自标注优化

    研究 BYOL 中批标准化层的重要性，提出使用 CCSL 和 CSSL 进行相似图片对比的方法来改进 BYOL 的表征学习效果。在 STL10 数据集上使用 CSSL loss 训练 BYOL 框架可以取得较好的效果。

    Apr, 2022

  • 贝叶斯助力转向：扩散模型领域自适应的有效方法

    我们提出了一种贝叶斯框架，用于通过一种名为贝叶斯动力转向（BPS）的新型网络结构对大规模扩散模型进行微调。BPS 从预训练模型的学习先验分布中提取任务特定的知识，通过头重脚轻的配置差异地介入不同的隐藏特征。实验证明，即使在有限的数据量下，BPS 在各种任务上均优于现有方法，特别是在 COCO17 数据集的素描条件下，BPS 达到了 10.49 的 FID 得分。

    Jun, 2024