- 面向 LLM 的破解攻击的理解:表示空间分析
通过研究大型语言模型中的有害和无害提示在表示空间中的行为,探讨成功越狱攻击的内在特性,并利用隐藏表示引入现有越狱攻击的目标,通过实验证实上述假设。希望该研究能为理解大型语言模型如何理解有害信息提供新的见解。
- CVPRUniBind: 统一与平衡的 LLM 增强表示空间以绑定所有
UniBind 是一种灵活高效的方法,利用大型语言模型(LLMs)学习统一的表示空间,用于处理多模态数据,实现零样本识别并在多模态微调中取得新的最先进性能。
- 转变是什么?将表征介入转化为自然语言
通过操作语言模型的表示空间,我们可以将表示空间反事实转化为自然语言的反事实,从而分析与特定表示空间干预对应的语言变化,并解释用于编码特定概念的特征。此外,生成的反事实可用于减轻分类中的偏见。
- 视觉 - 语言变换模型的零射击和系统评估之间的有趣差异
基于一种新的梯度下降优化方法,本文探索了一个常用的视觉 - 语言模型的嵌入空间,通过 Imagenette 数据集的实验结果表明,尽管该模型达到了超过 99% 的零样本分类性能,但在系统性评估中却完全失败,使用线性近似说明了这些显著差异,并 - 视觉转换器嵌入空间的引人注目的等效结构
基于视觉转换器作为例子,通过分析和系统实验,我们展示了表示空间由大型分段线性子空间和局部正常空间组成,存在着不同输入具有相同表示和在视觉上难以区分的不同表示的输入。这些经验结果进一步通过基础模型的局部方向估计来验证。因此,得到的表示会改变下 - 异常评分:基于复杂性和脆弱性评估生成模型和个别生成图像
基于生成模型的评估,该文研究了生成图像的表示空间与输入空间之间的关系,并提出了一种新的评估方法 —— 异常分数(AS)和个体图像的异常分数(AS-i),实验结果证明了该方法的有效性。
- ICCV空间参与力:基于对比的半监督语义分割的协作空间监督
半监督语义分割采用有限标记图像和大量未标记图像训练分割模型。使用像素级对比学习方法在潜空间中将表示聚合到原型,以获取来自逻辑空间和表示空间的协同监督,在减少过拟合风险和增强两个空间之间知识交流的基础上,通过表示与原型之间的相似性作为倾斜训练 - 自我调节提示:基础模型适应无需遗忘
本文提出了一种称为 PromptSRC 的自正则化框架,以指导提示对特定任务和特定不可知通用表示进行优化,通过三种方法实现互相协调的学习,从而最大化下游任务的表现而不损害 CLIP 泛化能力。
- ACL在最近邻机器翻译中注入 kNN 知识
该论文提出了一种名为 INK 的训练框架,通过调整 kNN 邻居的表示来直接平滑表示空间,从而提高神经机器翻译的泛化性能和推理速度。在四个基准数据集上进行实验显示,与最先进的 kNN-MT 系统相比,INK 具有更高的性能,并且在内存空间和 - ACL高效 BERT 预训练中的 Token 丢弃策略再思考
通过提出语义一致性学习方法(ScTD)来优化 token dropping,从而在保持语义信息的同时显著提高性能,尤其在处理语义密集型任务时,ScTD 可以更好地处理语义丢失的问题。
- 利用鱼眼数据中的畸变 - 语义交互
本文提出一种方法来塑造一个鱼眼特定的表示空间,以反映这种数据模态中存在的畸变和语义上下文之间的相互作用,该方法向模型提供了关于畸变和语义上下文之间相互作用的学习方法,并应用于目标检测任务中,从而在平均精度上实现了 1.1% 的性能提升,并超 - 分布归一化:对基于对比学习的视觉语言模型进行 “轻松” 的测试时间增强
通常的下游做法只是优化目标的零阶近似,而 Distribution Normalization(DN)可以很好地检索到负样本的信息,从而在测试时间获得更好的性能。
- 建模内部类别变化进行持续学习
本篇研究论文介绍了记忆基础连续学习的特点和不足,并提出加强表示差异化的两种扰动方法,以改进连续学习的性能,最终基于大量实证研究结果成功验证了我们的结论。
- 核区联合嵌入自监督学习
该研究旨在将基于已知或构建样本间关系的现代自监督学习方法扩展到基于核方法的算法,并针对对比损失函数和非对比损失函数导出最优输出表示形式,从而在核空间中通过线性映射构建嵌入,产生一个新的表示空间,分析其在小数据集上的表现并获得其在下游任务上的 - ICLR神经网络作为表示空间中的路径
深度神经网络的层次计算可以看作是在高维表示空间上的一条路径,通过度量相似性等工具可以理解和解释神经网络的训练过程,并发现不同模型之间的相似之处。
- EMNLP多语言语言模型表示的几何学
本文使用 XLM-R 为案例研究,研究了多语言语言模型如何在维持共享多语言表示空间同时在每种语言中编码语言敏感信息,并证明了多语言语言模型沿着语言敏感和语言中性轴编码信息,使其能够提取下游任务和跨语言传递学习的各种特征。
- 自监督模型的表示质量理解
本文研究了 6 种最先进的自监督学习模型的表示空间,发现了对应于图像中独特物理属性的高活性功能,并提出了用于预测样本是否可能被错误分类的自监督表示质量得分(或 Q-Score)和用于改善低质量表示的正则化项。在多个基准数据集上进行的试验表明 - 神经网络中的测试样本准确度随训练样本密度增加而提高
通过研究表明,在表示空间中,训练样本密度的倒数平滑处理后的经验训练误差边界与测试样本的预测不准确性密切相关,通过在测试集中排列样本边界值并放弃最高边界值的样本,平均阈值下对图像分类数据集的预测准确性提高了 20%。
- 基于表征空间的新颖性搜索,用于高效探索
通过将环境的低维编码与基于模型和无模型目标相结合的学习相结合,提出了一种有效探索的新方法,利用了基于低维表示空间最近邻之间的距离来衡量新颖性的固有奖励,进而在表示空间中利用这些固有奖励在奖励稀疏的困难探索任务中进行样本高效的探索。
- 在基于图像场景环境的语义空间中融合视觉语义到句子表示中
本文目的在于通过学习一种中间的 representation space 将视觉信息转移到文本表示中,以解决由于一个视觉场景可以有多种描述方式所导致的文字表示和学习中的问题,作者还提出了两个新的目标,来保证相关元素之间的相似性跨领域地保持和