- 基于视图的 Hopfield 解释的思维链推理
通过分析在不同设置下的 CoT 方法,从 Hopfieldian 视角提出了 Read-and-Control 方法,通过广泛实验验证了该框架对于理解 CoT、识别推理错误和控制正确推理路径的能力。
- 利用自然语言提示控制语音合成中的情感
我们提出了一种通过由情感丰富的文本衍生出的嵌入来作为提示信息的系统,通过在基于 Transformer 的架构内多次集成发言者和提示信息的联合表示。我们的方法在合并情感语音和文本数据集上进行训练,并在每次训练迭代中变化提示信息,以增加模型的 - 提示报告:提示技巧的系统调查
通过建立提示的结构化理解,本文通过整理提示技术的分类法和分析其使用,提供了 33 个词汇术语、58 种文本提示技术以及 40 种其他模态的技术,还对自然语言前缀提示的整个文献进行了元分析。
- PromptWizard: 任务感知的代理驱动提示优化框架
利用大型语言模型,PromptWizard 框架通过迭代合成和优化面向特定任务的提示信息,包括了指令和上下文示例的优化,提高了模型的性能。该框架在效率、数据量和小型语言模型上的适应性以及优于现有提示策略的实证评估中展现出优越性,呈现出良好的 - XC-Cache: 为高效 LLM 推理跨越关注缓存上下文
引入了受编码器 - 解码器结构启发的模型,利用交叉注意力将生成模型与参考文本进行条件化。这些模型仅训练少量添加的层,并在问答测试中表现出优异的条件生成能力,超越了上下文学习,并相对于标准 KV 缓存方法极大地减少了空间占用。
- 逐步多模态条件提示调整
通过迭代利用图像和当前的编码信息,我们提出了一种新颖的方法 —— 渐进式多模态条件 Prompt 调整(ProMPT),通过多模态提示的方式使视觉 - 语言特征逐步对齐,从而实现从粗糙到准确的分类。在所有设置中,广泛的实验证明了 ProMP - 人们提示:LLM 在软件验证和伪造方法中的下游任务的分类
通过细致地剖析 80 篇论文,我们研究了软件测试和验证研究社区如何抽象构建基于大型语言模型(LLMs)的解决方案。我们验证了下游任务是否能够传达基于提示的解决方案的蓝图,并确定了解决方案中的任务数量和性质。为此,我们开发了一种新的下游任务分 - 隐私保护提示工程:综述
预训练语言模型(PLMs)在解决各种自然语言处理(NLP)任务上展现出显著的熟练度。研究人员观察到这些模型的性能和规模之间存在直接关联。最近几年,这些模型的规模明显扩大,研究人员因此采用了大型语言模型(LLMs)这一术语来描述规模较大的 P - 大型语言模型的高效提示方法综述
在这篇论文中,我们对高效提示的各种方法进行了全面的概述,包括使用高效计算和高效设计进行提示的方法,重点关注未来的研究方向。
- 企业中的提示工程实践探索
通过分析 Prompt 编辑行为和变化类型,以更好地理解 Prompt 工程实践,我们发现与大型语言模型的交互主要通过提示进行,并且有效提示设计取决于用户的迭代过程和目标的实现。
- 低资源语言中大型语言模型的少样本跨语言迁移
将 LLaMa 适应于 Kinyarwanda、Hausa 和 Luganda 等低资源语言的提示设置是一种计算高效且成本效益的方法,优于翻译和 LAFT,并在所有任务和语言上表现最佳。
- ICLRLLM 中取消学习的防护栏基准
通过示例和迭代微调模型以更新模型的方法与简单的基于防护栏的方法(如提示和过滤)相比,可以实现可比的取消学习结果,推荐研究人员在评估性能较高的微调方法时,研究这些轻量级基准。
- 微调、提示、上下文学习和指导微调:我们需要多少标记样本?
在本研究中,我们旨在调查专用模型需要多少标记样本才能达到优越性能,同时考虑结果方差。我们通过观察提示、上下文学习、微调和指令调整的行为,确定它们在增加不同复杂度任务的标记训练样本数量时的平衡点,发现专用模型通常只需要少量样本(100-100 - 度量和控制语言模型对话中的角色漂移
通过自我会话测试,我们评估了个性化聊天机器人之间的身份稳定性,并揭示了频繁的身份转化现象。通过经验和理论分析,我们发现 Transformer 注意机制的衰退是造成这一现象的原因。为了解决注意力衰退和身份转化问题,我们提出了一种轻量级方法称 - 大型语言模型中简明的思维链对问题解决的益处
通过比较标准 CoT 和 CCoT 提示,我们介绍了简洁的思路链 (CCot) 提示,并评估了它对回答长度和正确答案准确性的影响。我们使用 GPT-3.5 和 GPT-4 在多项选择问答 (MCQA) 基准上进行了评估。CCoT 使得 GP - 改变提示的蝴蝶效应:小的变化与越狱对大型语言模型的影响
在这项研究中,我们探究了提示的构建方式对大型语言模型的决策是否产生影响。我们通过一系列针对不同文本分类任务的提示变化进行了实验。研究发现,即使是最小的扰动,如在提示的末尾添加一个空格,都可能导致大型语言模型改变其回答。此外,要求以 XML - 医学图像分割的分割全模型:现阶段的应用与未来发展方向
通过综述快速模型(SAM)在医学图像分割领域的应用,本文总结了对 SAM 在医学图像分割任务中的有效性进行扩展的最近努力,并探讨了未来 SAM 在医学图像分割中的研究方向。尽管直接应用 SAM 到多模态和多目标医学数据集的图像分割上表现不够 - 基于原则的指导是提问 LLaMA-1/2 和 GPT-3.5/4 所需的全部
本研究介绍了 26 个指导原则,旨在简化大规模语言模型查询和提示的过程,通过对 LLaMA-1/2、GPT-3.5/4 等模型的广泛实验验证所提原则在指令和提示设计上的有效性,以提供更好的指导给从事大规模语言模型提示研究的学者。
- EMNLP通过提示的多知识整合改进神经机器翻译
通过将多种类型的知识,如句子、术语 / 短语和翻译模板有效地融入神经机器翻译 (NMT) 模型,我们提出了一个统一的框架,无需修改模型架构即可实现领域特定的翻译,显著提高了翻译质量和术语匹配准确性。
- 多模态融合的条件提示调节
利用一种多模态融合方法,通过一个模态的表示来引导另一个模态的参数高效提示,从而将预训练知识有效转移至多模态任务中。