APT-Pipe: 社交计算数据标注的自动提示调整工具
通过在 transformer 模块的键和值中直接插入提示信息,我们提出了注意力提示调整(Attention Prompt Tuning,APT)方法,从而在视频行为识别中大大减少了浮点运算和延迟,并在 UCF101、HMDB51 和 SSv2 数据集上实现了显著的性能提升。
Mar, 2024
本文介绍了 ChatPipe,一个用于协调用户与 ChatGPT 间无缝交互的系统,用以快速编排高质量数据准备程序,用户可方便地回滚到以前的版本并进行更有效的实验和测试。
Apr, 2023
本研究提出了一种名为 “Approximated Prompt Tuning” 的方法,用以提高视觉语言预训练模型的迁移学习效率,其基于软提示令牌的独立信息扩散步骤,从而有效地避免了昂贵的全局关注建模,并显著降低了计算复杂度。
Jun, 2023
使用基于 transformer 的方案进行 prompt 调整,实现任意组合,达到 bespoke models,维护各用户的访问权限和偏好,多次添加或删除相关 prompt 可达到记录更新,实现 Split CIFAR-100 和 CORe50 的反复学习监测,并得到最先进的效果。
Feb, 2023
我们提出了一种新的提示调整方法,Instruction-Aware Prompt Tuning (IAPT),该方法只需要四个软标记,并且在具有可调参数的情况下优于最近的基准方法,并比低秩适应性 (LoRA) 在单主干多租户设置下更高效。
May, 2024
本文提出了一种自动优化提示技术(APO)来改进 Large Language Models(LLMs)的图灵能力,APO 采用数值梯度下降的方法来自动更改提示语并带来了很大的效率提升和预测性能的提升。
May, 2023
我们提出了一种新的基于提示的调优框架,称为特征提示调优(FPT),它结合了丰富的语言知识,通过从文本中提取语言特征并将其嵌入可训练的软提示,进一步设计了一种新的损失函数来校准类别之间的相似度排名顺序,实验证明我们的方法在诸多方面均显著提高了性能,并超越了先前引入语言特征的方法以及大型语言模型 gpt-3.5-turbo-16k。我们的方法为提示调优建立了一种新的体系结构,并为如何轻松调整语言特征来适应与语言相关的任务提供了指导。
Apr, 2024
本文提出了 “SpeechPrompt V2” 语音分类的编程框架,该框架在统一的下游任务生成和多个语言的情境下具有高效性并取得了优秀的性能。
Mar, 2023
这篇论文探讨了将翻译目的和目标受众整合到 ChatGPT 的提示中对所生成翻译质量的影响。研究强调了翻译过程中的前期准备阶段的重要性,通过借鉴以往的翻译研究、行业实践和 ISO 标准进行分析。研究发现,在像 ChatGPT 这样的大规模语言模型中加入适当的提示可以产生灵活的翻译,而传统的机器翻译尚未实现这一目标。通过使用 OpenAI 的词嵌入 API 进行余弦相似度计算,评估从从实际翻译员的视角主观和定性地进行,结果表明将翻译目的和目标受众整合到提示中确实可以修改所生成的翻译,从而在行业标准上普遍提高翻译质量。该研究还展示了 “良好的翻译” 概念的实际应用,特别是在营销文件和文化习语的背景下。
Aug, 2023
SPT 模型能够通过选择性提示调整语言模型以实现个性化对话,大幅提高响应的多样性,并改善其他关键性能指标,从而在促进吸引人和个性化对话生成方面显示出高效性。
Jun, 2024