Aug, 2022

语言模型适应的视觉比较

PDF
TL;DR本研究介绍了适配器作为一种轻量级的模型适应方法，为了协助上述过程中产生的新挑战，提供了支持适配器评估的可视化工作区，研究显示，对于训练语言消歧任务的适配器而言，语境 - 0（去语境化）嵌入引入了一种新的偏差类型，这些是上下文 - 0 嵌入的产物。
neural language modelsadaptersembedding spacesvisual analyticsmodel adaptation
发现论文，激发创造
  • 基于交叉模态衔接器的通用高效视觉知识注入预训练语言模型

    本文提出了一种新的插入式模块 X-adapter，用于将预训练的 VLMs 的对齐视觉和文本知识灵活地融入 PLMs 中，以提高对象 - 颜色推理和自然语言理解 (NLU) 任务性能。

    May, 2023

  • 跨模态适配器：用于视觉语言模型的参数高效迁移学习方法

    XMAdapter 是一种跨模态参数高效的适配器方法，通过建立文本和图像的缓存模型，并利用视觉 - 语言双模态信息进行检索以获得推理线索。通过动态调整关联比例实现跨模态融合，解耦不同模态相似性以评估其各自的贡献，并通过适应性调整样本学习强度来增强模型性能。实验结果表明，XMAdapter 在准确性、泛化能力和效率方面明显优于以前的基于适配器的方法。

    Apr, 2024

  • 嵌入比较器：通过小多面体可视化全局结构和局部邻域的差异

    该研究介绍了一个交互式系统 ——Embedding Comparator，它可以用于快速比较不同维度的嵌入向量空间，帮助用户快速可视化了解语义变化，实现了从手动操作到可视化操作的转换。

    Dec, 2019

  • 跨语言 NLU 中的语言适配器的影响

    在不存在语言的监督数据的情况下，本文研究了语言适配器在自然语言理解任务中零样本跨语言转移中的作用，通过对两个多语言模型和三个多语言数据集的详尽消融研究，结果表明目标语言适配器在任务、语言和模型间影响高度不一致。相比之下，保留源语言适配器通常能够获得相当甚至更好的性能，训练后去除语言适配器只有较弱的负面影响，表明语言适配器对于预测结果的影响并不显著。

    Jan, 2024

  • 关于语言模型在视觉概念语义相似度评估方面的可解释性研究

    这篇研究探讨了高性能预训练语言模型的表现，并提出了一些可解释的评估指标用于理解检索实例的概念质量，并对具有明显查询语义的对抗性干预进行了测试，揭示了不透明指标中的漏洞并显示了学习语言表示中的模式。

    Sep, 2022

  • VL-Adapter：用于视觉语言任务的参数效率转移学习

    本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

    Dec, 2021

  • 适配器效率的全面分析

    通过对多个 adapter、任务和语言在有监督和跨语言零 - shot 设置中进行广泛实验，作者发现对于自然语言理解任务，adapter 的参数效率并不会转化为与全微调一样的效率优势。同时，使用多任务训练通过全微调也能达到与 adapter 相同的可维护 / 可扩展性，而且提供相对更快的训练时间。因此，作者推荐在 NLU 任务中，从业者应该依赖于全微调或多任务训练而不是使用 adapter。

    May, 2023

  • GraphAdapter: 用双重知识图调整视觉语言模型

    通过建立双重知识图，将文本和视觉语义 / 类别之间的关联性进行建模，利用适配器样式的调整策略，在少量数据条件下对视觉 - 语言模型进行调优，提高下游任务的分类器的效果。

    Sep, 2023

  • 利用适配器实现句子嵌入的高效领域自适应

    使用适配器实现参数高效的领域适应方法，通过仅训练少量额外参数而不更新整个句子嵌入模型的权重，以实现句子嵌入在特定领域的适应。结果表明，在仅训练约 3.6% 的参数的情况下，使用适配器进行句子嵌入的领域适应可以获得与完全调整的模型性能相似的结果。

    Jul, 2023

  • AdapterHub Playground：使用 Adapter 进行简单灵活的少样本学习

    本文介绍了一个基于参数高效适配器模块的 AdapterHub Playground 工具，为使用预训练模型进行自然语言处理任务的研究人员提供了一个直观的界面，并且通过案例展示了其性能提升的优点，同时还进行了用户研究。

    Aug, 2021