文本控制视觉模型的概念代数
通过用概念向量探测和激活推断期间的激活来引导隐藏表示,该论文将概念引导的研究拓展到诸如适应性、幽默、创造力和质量等更丰富的概念,探索现有检测和引导策略在这些挑战性环境中的工作程度,同时开发了一种新的以概念引导为度量的指标来评估,研究显示,一些概念如真实性相对容易通过现有技术进行引导,而适应性或幽默等新概念则更难探测和引导,并需要进一步调整。
Feb, 2024
本文探讨使用独立学习的提示符是否可以通过提示代数,组合不同任务的模型。我们考虑使用提示调整的视觉语言模型 (VLM) 作为我们的基本分类器,形式化地定义提示代数的概念,提出了约束提示调整来改善复合分类器的性能。我们证明了我们方法的有效性对象分类和属性分类数据集,我们的复合模型平均准确度与最佳基本模型相差不到 2.5%,在 UTZappos 上,平均提高了 8.45%分类准确率。
Jun, 2023
本文提出了一种通过生成特定概念并将其用于多个图像来提高控制能力的方法,通过仅使用文本就可以生成概念而无需从输入数据复制可视化,并通过一组比较发现我们的方法是超越仅使用文本提示的重要改进。
Mar, 2023
该研究提出了 ConceptX 人在循环框架,用于解释深度语言模型中预训练隐藏表达空间,并提供自动生成的基于语言本体论的概念注释,以表示这些模型中学习到的隐含概念,从而帮助注释人员标记模型中的偏见。
Nov, 2022
使用控制性语言生成策略,通过对概念语义的线性表示在潜空间中实现文本生成的量化处理,以确保性能保证,并通过在闭合形式中计算的小型无梯度干预实现动态轨迹偏离不希望的含义区域,从而避免不良内容并保持文本质量。
May, 2024
该研究探讨了语言模型内的概念形成和对齐,提出了一种识别语言模型中概念和它们之间层次组织的机制,从 Glove 到 ALBERT 和 T5 等不同的语言模型,利用这些模型生成的语义嵌入中的内在结构提取出概念的分类和层次关系,从而揭示了语言模型如何发展概念理解,并为进一步改善它们的推理能力和运用真实世界知识的能力开启了研究之门。同时,我们进行了实验证明了从基于 transformer 的语言模型中独立提取这些抽象概念表示的可能性。通过观察到的概念形成以及将概念表示从推理模块中隔离出来,可以实现有针对性的标记工程,为知识转移、可解释的人工智能和开发更模块化、概念基础的语言模型带来潜在应用。
Jun, 2024
本论文研究利用自然语言处理和机器学习技术进行概念生成,比较生成方案和众包解决方案的异同,结论表明,利用 LLM 技术生成的方案平均可行性和实用性更高,而众包解决方案更具新颖性。
May, 2023
本文提出了一种新的方法,通过找到生成模型中有意义的方向来提高生成模型潜在空间的可解释性,从而精确地控制生成图像的特定属性,如位置或比例。该方法对于搜索编码生成图像的简单变换方向(如平移,缩放或颜色变化)特别适用,并在 GAN 和变分自动编码器模型的质量和量化方面得到了证明。
Jan, 2020
通过设计一种名为 SmartControl 的新型 T2I 生成方法,我们解决了现有 T2I 生成模型中存在的问题,该方法通过放松与文本提示冲突的区域的视觉条件,从而调整图像的粗略视觉条件,使之与文本提示相适应,并在四种典型的视觉条件类型上充分验证了我们的 SmartControl 的有效性。
Apr, 2024