EMNLPOct, 2020
小部件字幕:为移动用户界面元素生成自然语言描述
Widget Captioning: Generating Natural Language Description for Mobile User Interface Elements
Yang Li, Gang Li, Luheng He, Jingjie Zheng, Hong Li...
TL;DR提出了一种通过多模态输入自动生成 UI 元素的语言描述的新任务:小部件字幕生成任务,并使用众包收集了一个大规模的包含 162,859 个语言短语的数据集以对此进行深入分析,该数据集涵盖了 21,750 个独特 UI 屏幕中的 61,285 个 UI 元素的结构表示和图像。