用于少样本恶意表情包检测的模块化网络
在此研究中,我们探讨了 LoRA 模块的组合性,研究了使用均匀组合和学习组合两种方法,发现它们在少样本场景中能够提高转移准确性,且在完整数据集场景中,学习组合与正常训练相比具有更少的可训练参数。
Feb, 2024
社交媒体上传播仇恨的行为越来越多,其中包括使用多模态方式的恶意内容,容易被现有的检测系统所规避。本文通过对现有系统进行外部对抗攻击,检验了其脆弱性,并提出了使用对比学习和基于对抗训练的方法来提高鲁棒性。实验结果表明,使用这两种方法可以在某些攻击下重获性能。
Feb, 2023
Retrieval-Augmented Mixture of LoRA Experts (RAMoLE) is a framework that adaptively retrieves and composes multiple LoRAs to improve large language models through Uploadable Machine Learning, consistently outperforming baselines.
Jun, 2024
LoRAHub 是一个用于组合多个训练在不同任务上的 LoRA 模块的战略性框架,旨在实现在未知任务上的适应性性能,可以有效地模拟在少样本情况下的上下文学习表现,无需上下文示例。
Jul, 2023
通过解码为中心的视角,本研究提出了两种无需训练的方法:LoRA Switch 和 LoRA Composite,分别通过在去噪步骤中交替使用不同的 LoRA 和同时整合所有的 LoRA,以更好地指导图像合成,从而提高了综合性能,在组合中增加 LoRA 的数量时尤为明显。
Feb, 2024
提出了一个称为 SuperLoRA 的广义框架,将不同的 LoRA 变体统一并扩展,通过引入分组、折叠、洗牌、投影和张量分解等方法,SuperLoRA 相对于其他 LoRA 变体具有更高的灵活性,在转移学习任务中表现出卓越的性能,尤其在极低参数的情况下表现出色。
Mar, 2024
提出了 MultiLoRA,通过减少 LoRA 中观察到的顶层奇异向量的主导性,通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性,从而产生更平衡的单元子空间,从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调,仅需额外 2.5%的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明,其对顶层奇异向量的依赖性减小,单元变换贡献更加均衡。
Nov, 2023
通过与多模态指令调优相结合,引入了一种综合了条件的低秩适应矩阵 (MixLoRA) 的新方法,旨在减轻任务干扰,实现在多样的多模态任务中具有良好的适应性和灵活性。实验结果表明,MixLoRA 不仅在相同或更高秩的情况下胜过传统的低秩适应方法 LoRA,展现出其在各种多模态评估数据集上的有效性和适应性。
Feb, 2024
本篇论文旨在针对多种形式的恶意言论,特别是采用 Memes 表达的恶意言论开发一种新的多模态框架,该框架通过交叉验证的集成学习等增强措施,有效提高了已有多模态方法的性能,并在 Facebook 组织的 2020 年恶意 Memes 挑战的第二阶段中获得了 AUROC 评分 80.53,位列第四。
Dec, 2020
通过重新参数化使用线性组合随机生成的矩阵(基)的低秩矩阵,并仅优化线性混合系数,NOLA 将创新地克服了 LoRA 中的秩一下界,与等效参数计数的模型相比,NOLA 在自然语言处理和计算机视觉任务中表现得很好,并且证明能在更大的模型中减少一半的参数而不降低性能。
Oct, 2023