Mar, 2022

BERT 模型是否学会使用浏览器用户界面？通过统一的视觉 - 语言 BERT 模型探索多步骤任务

PDF
TL;DR本文探讨了一种结合图形用户界面（GUI）的预训练 Transformer 模型的框架，该框架可以通过多步骤的方式执行多个任务，使用 BERT 扩展来训练该模型，结果表明还有提高其泛化能力的空间。
pre-trained transformersmulti-task modelsguibert extensiongeneralizability
发现论文，激发创造
  • UIBert：为界面理解学习通用多模态表示

    本文提出了 UIBert，一种基于 transformer 的联合图像文本模型，通过在大规模未标记的 UI 数据上进行新颖的预训练任务学习 UI 及其组件的通用特征表示，以解决智能设备可访问性和简化使用的问题。实验表明，UIBert 在九个实际 UI 任务中，表现优于强大的多模态基线达到了最高 9.26% 的准确率。

    Jul, 2021

  • 多模态预训练揭示：视觉和语言 BERT 的元分析和统一框架

    本文探讨了计算机视觉和自然语言处理中预训练方法的标准方法学习经验，分别采用单流和双流编码器进行归纳分析。我们就五种视觉与语言 BERT 的差异进行经验研究，揭示出预训练数据和超参数是这些异常壮观的模型之间不同的原因，同时将两类网络统一在同一理论框架之下，指出 embedding layer 在这些模型中具有至关重要的作用。

    Nov, 2020

  • ActionBert：利用用户操作实现用户界面的语义理解

    该研究介绍了一种基于用户交互轨迹的 UI 理解预训练模型 ActionBert，利用视觉、语言和领域专业特征来预训练 UI 元素的泛化特征表示，以解决 UI 的理解和功能识别的问题，并在图标分类和 UI 组件检索等任务上测试模型的效果。

    Dec, 2020

  • VUT: 面向多模态多任务用户界面建模的通用 UI Transformer

    本研究提出了一种 VUT 多任务模型，可以同时完成 UI 镜像和结构编码、UI 对象检测、问题回答和命令接地等 5 个不同的任务。实验结果表明，VUT 在减少多任务模型数量和占用空间的同时，准确度也不逊于单独训练的基准模型。

    Dec, 2021

  • 基于可转移 BERT 的故事结局预测

    本研究旨在研究一种可转移的 BERT 训练框架，该框架不仅可以从大规模未标记数据中转移一般语言知识，还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中，提出了利用三种转移任务，包括自然语言推理、情感分类和下一动作预测，以进一步训练预训练模型的思想，并将故事结尾预测作为目标任务进行实验。最终结果，准确率达到了 91.8％，明显优于先前最先进的基线方法。同时，进行了一些比较实验，给出了一些关于如何选择转移任务的有益建议。通过误差分析，还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。

    May, 2019

  • 走向统一基础模型：联合预训练 Transformer 模型处理不成对的图像和文本

    本文提出了一种基于 BERT 和 ViT 的通用 Transformer 模型，通过使用两种新颖的预训练技术 —— 知识蒸馏和梯度遮蔽 —— 以及阶段性的任务特定输出头部，能够在图像分类和自然语言理解任务中表现出与分别训练的模型相当的效果。

    Dec, 2021

  • 使用统一文本到文本转换 Transformer 进行极端多领域、多任务学习

    研究了多领域文本转换转换器在 Python Code 和 Chess 领域中 4 个任务上的行为，发现 GPT 风格的联合预训练 + 联合微调策略在多领域，多任务学习中表现最好。

    Sep, 2022

  • VU-BERT：一个视觉对话的统一框架

    本文提出了一种名为 VU-BERT 图文联合嵌入的框架，通过用 patch projection 获取视觉嵌入来简化模型，从而解决了现有研究中用于建模交互的具有特定模态的模块难以使用的问题，并在可视对话任务上取得了较高的竞争性表现。

    Feb, 2022

  • InterBERT：多模态预训练中的视觉 - 语言交互

    该论文提出了一种基于多模态预训练的新型模型 InterBERT，通过预训练的方式实现了多个任务，包括掩码片段建模、掩码区域建模和图像与文本匹配，并在视觉和语言下游任务上进行了 fine-tuning，最终实现了基于主题的推荐和基于文本的图像检索。

    Mar, 2020

  • 从网络上图像文本对入手，提升视觉语言导航能力

    本文提出了 VLN-BERT 模型，使用从网页中收集的图像 - 文本对进行预训练，将其与具有相似领域的含路径语言训练数据相结合，取得了 4 个百分点的成功率提升，并得出每个阶段都非常有效，结合后具有更进一步的协同作用。

    Apr, 2020