- ICMLETHER: 大规模模型的高维超平面反射高效微调
我们提出了 ETHER 转换家族,通过超平面反射来实现高效微调,其需要较少的参数,对超参数和学习率选择具有鲁棒性,并在多个图像合成和自然语言任务中与现有的参数高效微调方法相匹配或超越,同时引发对 Hyperspherical 能量保留在实际 - 熵之谜:熵最小化的成功与失败
通过分析熵最小化方法在模型适应和优化过程中的作用和原因,本文提出了一个估计模型在给定任意数据集上准确性的方法,并在 23 个具有挑战性的数据集上进行了实验证明其效果在这个任务上达到了最好的状态,绝对误差平均为 5.75%,较先前最好结果提高 - 量化分布漂移和不确定性,提升机器学习应用的模型鲁棒性
使用合成数据和统计度量来评估分布变化和模型不确定性,为实现机器学习应用在现实世界中的成功部署提供了重要方法和见解。
- ICMLCOPAL:大型语言生成模型的持续剪枝
本文提出了 COPAL 算法(COntinual Pruning in Adaptive Language settings)用于在持续的模型适应环境中对大型语言生成模型进行修剪,通过敏感性分析引导修剪过程,从而提高模型适应新领域的能力并增 - IJCAI动态对抗动态:一种开放式自学习框架
该研究论文提出了一种新颖的动态方法以解决动态变化的开放场景中开放集识别的问题,通过开放集自学习框架的模型适应性和自匹配模块对未知类别样本的利用,取得了在标准和交叉数据基准测试中的新的性能里程碑。
- 通过领域适应减轻接收机对射频指纹识别的影响
无线电频率指纹识别(RFFI)模型的跨接收方问题,通过将模型适应到来自新接收方的未标记信号中,提出了一个包括领域对齐和自适应伪标签的新方法,能够有效减轻接收方影响并改善跨接收方 RFFI 性能。
- 动态和可控的文本生成的连续语言模型插值
使用线性权重插值的自适应方法来控制和适应大型语言模型,以实现对模型输出的可预测且精细的控制。
- Cendol:面向印尼语的开放指令调整生成式大型语言模型
Cendol 是一组印尼语 LLMs,通过模型自适应和安全预训练来解决印尼土著语言和低资源语言的质量差距,展示了在各种任务中的有效性和潜力。
- 振动基础模型的效率与稳健性在物联网感知中的应用:案例研究
该研究论文演示了使用无标签传感数据进行预训练的基于振动的基础模型(FM)在运行时推理中提高鲁棒性的潜力,通过一个基于声学和地震感知的车辆分类应用的案例研究,证明了该预训练 / 微调方法改善了下游推理的鲁棒性,并促进了对不同环境条件的适应。
- WWW合作自适应:无源图领域自适应的双向适应
我们提出了一种名为 GraphCTA 的新范式,通过一系列步骤:在考虑本地和全局信息的情况下,基于目标图中节点邻居的预测进行模型适应;通过邻域对比学习来更新图结构和节点属性进行图适应;以及使用更新后的图作为输入来促进后续模型适应的迭代,从而 - ICLR面向鲁棒高效的云边弹性模型适应:选择性熵蒸馏
基于云边弹性模型适应(CEMA)范式,本文提出了一个在边缘设备上进行深度学习模型自适应的方法,通过前向传播和样本重放策略,更新和分发规范化层的仿射参数,以适应动态变化的环境,从而提高性能并减少通信负担。
- 无源非监督领域适应:预测合理性的假设整合
无源无监督领域自适应(SFUDA)是一个具有挑战性的任务,模型需要在没有目标领域标签或源领域数据的情况下适应新领域。本文提出了一种新的方法,通过考虑每个样本的多个预测假设并研究每个假设的合理性来解决该问题。通过整合这些假设的理由,我们可以识 - 降低噪声:通过伪标签集成利用扩散模型进行测试时自适应
利用预训练的扩散模型将目标领域图像投影到源领域,并通过伪标签集成迭代更新模型的方法,将模型适应和输入适应的优势相结合,从而减轻它们的缺点。在 CIFAR-10C 上的实验表明,我们的方法优于最强基线平均 1.7%,比最强的输入适应基线平均高 - ECLM: 高效的边缘 - 云协作学习与持续环境适应
通过 ECLM 边缘云协作学习框架,将边缘和云模型高效协作,在动态边缘环境中提高模型性能和资源利用效率。
- 时序预测变压器的校准:检测和适应基于情境的分布偏移
近年来,我们见证了将 Transformers 引入时间序列预测的成功。我们在数据生成的角度上阐述了现有的 Transformers 对于由时间上下文驱动的分布变化容易受到影响,不论是已观测到还是未观测到的。本文介绍了一种普适的校准方法,用 - 大型语言模型推理中动态策略选择的自适应求解器框架
给定一个初始解决方案,我们引入了一个自适应求解器框架,通过动态适应策略,包括模型适应、提示方法适应和分解粒度适应,来提高计算效率和整体性能,同时减少 API 成本。
- ICCV一次性跨领域语义分割的信息挖掘
我们提出了一种名为 Informative Data Mining (IDM) 的新框架,通过使用一种基于不确定性的样本选择准则来实现高效的一次性领域自适应,其中包括基于补丁混合和基于原型的信息最大化来更新模型,有效提高了自适应性并缓解过拟 - 利用大型语言模型从隐私保护掩码中恢复
使用大型语言模型,本研究探索了替代标记符的可行性,以保护用户隐私,分析了不同方法的实验结果,在下游语言建模任务中实现了与原始数据训练相媲美的性能。
- ATTA:面向分割领域中的异常感知测试时间适应
本研究提出了一种双层离群分布检测框架,可同时处理领域漂移和语义漂移,通过全局低层特征和密集高层特征图来区分领域漂移和语义漂移,并能够选择性地调整模型以适应未知领域,并提高在检测新类别方面的效果。在多个离群分割基准测试中验证了所提出方法的有效 - EdgeMA: 为边缘设备上实时视频分析的模型适应系统
EdgeMA 是一个实际高效的视频分析系统,通过基于统计纹理特征的灰度共生矩阵提取和随机森林分类器检测领域转变,以及基于重要性加权的模型适应方法,解决了边缘设备上实时视频分析中数据漂移问题,并通过真实数据集的严格评估,结果表明 EdgeMA