- LoPT: 低秩提示调节用于参数高效语言模型
在本论文中,我们提出了一种名为 LoPT 的低秩模型,用于优化提示信息,通过减少可训练参数数量,实现与完全参数的提示优化相似的效果,同时相较于现有方法需要的参数数量减少了 5 到 20 倍。
- TemPrompt: 基于 RAG 的众包系统中的多任务提示学习用于时间关系抽取
基于预训练语言模型的多任务提示学习框架(TemPrompt)结合了提示调整和对比学习来解决事件的演变以及任务请求的问题,实验结果表明在标准和少样本情况下,TemPrompt 在多个指标下优于其他基准模型,并通过案例研究验证了在众包场景中的有 - 持续学习中 PEFT 技术的选择:调优并不是你所需要的全部
本研究揭示了未经审查的 Prompt tuning 选择对持续学习系统的整体性能产生负面影响,使用 LoRA 替代 Prompt tuning 的变体在领域增量和类别增量基准上实现了更高的准确性,同时具有相似的推理速度。
- SIGIR大型语言模型作为推荐系统:流行偏见的研究
研究探讨了大语言模型在推荐系统中对流行度偏差的贡献和缓解的机会,并提出了一种新的测量流行度偏差的指标,通过对电影推荐任务的比较发现,即使没有明确的缓解方法,大语言模型推荐系统仍然表现出较少的流行度偏差。
- SEP:自我增强的视觉语言模型提示调整
基于 Context Optimization (CoOp) 的 Prompt tuning 方式可通过推断附加可学习的提示符令牌来有效地调整视觉 - 语言模型(VLMs)以适应下游任务。然而,这些令牌由于与预训练的令牌无关且无法捕捉特定于 - 少即是多:用于高效多标签类别增量学习的补丁标记总结
通过提出的多标签增量学习方法 MULTI-LANE,我们能够在不同前景对象属于多个任务时,通过维护任务特定路径来消除选择提示的机制,并通过总结的标记对这些减少后的标记应用提示调整以计算最终表示,这使得我们能够学习在多标签增量学习中解耦的任务 - 多空间投影和提示融合的高效提示调整
通过多空间投影和提示融合的方式,我们提出了一种高效的提示调整方法(EPT),旨在解决平衡准确性和效率的问题,同时提升语言模型在不同下游任务上的表现。实验结果表明,相对改进百分比高达 28.8%,训练时间减少了 14%。
- IJCAITAI++:基于共同学习的可迁移提示的多标签图像分类中的文本作为图像
该研究论文提出了一种使用伪视觉提示的模块来改进多标签图像分类的性能,通过将伪视觉提示与文本提示结合,增强它们的视觉表示能力,并在多个数据集上展示了超过现有方法的性能提升。
- 通过多知识表示优化视觉语言模型的提示学习
Context Optimization with Multi-Knowledge Representation (CoKnow) enhances Prompt Learning for VLMs by addressing the la - AAAI插入并玩:一种控制文本生成的提示调整方法
利用小型语言模型进行 Prompt 调整,使用提示嵌入对生成文本进行控制,验证其在情感分析、正式度和有害语言领域的有效性。
- CVPR卷积提示与语言模型相遇的持续学习
提出了 ConvPrompt,一种新颖的卷积提示创建机制,通过维护逐层共享的嵌入,实现了层特定学习和更好的概念传递,从而克服了 Catastrophic Forgetting 在 Continual Learning 中的问题。通过使用卷积 - ICLRC-TPT:基于文本特征离散度的视觉 - 语言模型校准测试时提示调整
通过观察我们发现,测试时间提示选择显著影响 CLIP 的校准,其中导致更高的文本特征分散的提示导致更好校准的预测。介绍了平均文本特征分散(ATFD),建立了它与校准误差的关系,并提出了一种新的方法,即校准的测试时间提示调整(C-TPT),以 - 细调 vs 触发,语言模型是否能理解人类价值观?
未来我们将探索 fine-tuning 和 prompt tuning 在处理句子中潜在支持值的任务中的潜力,同时对大型语言模型与强化学习对齐在此任务中的能力进行初步尝试。
- 深层激励多任务网络用于辱骂语言检测
我们提出了一种用于滥用语言检测的全新的深度提示多任务网络 (DPMN)。DPMN 首先尝试设计了对预训练语言模型 (PLMs) 的深度提示调优和轻提示调优两种形式。研究了不同提示长度、调优策略和初始化方法对滥用语言检测的影响。此外,我们提出 - CVPR动态适配器遇到提示调整:基于参数效率的点云分析迁移学习
本文的目标是研究点云分析中的参数高效迁移学习,以在任务性能和参数效率之间取得理想的平衡,通过冻结默认预训练模型的参数,并使用动态适配器和提示调整相结合的方法,捕捉每个标记的重要程度,要点功能以及实例特定特征的交互。通过在五个具有挑战性的数据 - 预训练变压器可作为通用逼近器
通过 prompt tuning 和 prefix-tuning,本论文探讨了预训练模型能否被任意修改以逼近序列到序列函数,证明了通过加前缀可以使比先前认为的更小的预训练模型成为普遍逼近模型。此外,本论文还给出了逼近函数所需前缀长度的限制。
- CLIPping the Deception: 转变视觉语言模型以适应通用深度伪造检测
该研究探索了预训练视觉 - 语言模型与先进适应方法相结合在通用深假检测中的有效性,结果表明,保留视觉和文本部分对于检测效果至关重要。通过提出的简单轻量级的 Prompt Tuning 适应策略,使用较少的训练数据(20 万张图像,相较于 7 - 子图级通用提示调优
图领域图神经网络的简单提示调优方法在各种预训练策略中表现出较高的适应性和通用性,介绍了基于子图级别的通用提示调优方法,相比于微调方法在全样本和少样本情景下取得显著性能提升。
- EMNLP贝叶斯多任务转移学习用于软提示调优
我们提出了一种贝叶斯多任务迁移学习方法,通过后验分布的样本获得代表性的源提示,并将其聚合以构成初始目标提示,无需辅助模型,实现高度参数效率。
- APT-Pipe: 社交计算数据标注的自动提示调整工具
通过自动调整输入提示,提高 ChatGPT 对文本分类的性能