本研究针对视觉识别技术中的特征表示、学习算法和标记的训练数据进行了探究，提出了一种基于网络监督的自动图像数据生成方法，以实现对大量视觉概念的高效训练和识别。在 Pascal VOC 2007 数据集上对该方法进行了测试，并取得了明显的优越性能。

Jun, 2019

本论文研究了基于网络图像 - 文本对数据进行自监督学习的方法，对比单模式和多模式方法在视觉转移学习任务上的表现，提出了一个可扩展的 MUlti-modal Generator 预训练方法，并在多项任务中取得了最先进的转移效果。

Jan, 2023

提出一种名为 REACT 的框架用于获取相关网络知识以构建目标领域的定制视觉模型。该框架通过检索与预训练数据集最相关的图像 - 文本对作为外部知识源，并仅训练新的模块化块，冻结所有原始权重，证明了其在零、少、全样本设置下显著提高了分类、检索、检测和分割任务的成功率。

Jan, 2023

使用 NLP 和多模式学习，该论文介绍了如何通过搜索引擎检索来增强预训练模型，从而在测试时从互联网中检索到有用的数据，并更新模型以解决模型的不确定性，取得了零样本性能的显著改进。

Nov, 2023

通过预测图像与文本配对来预训练计算机视觉系统，使其可以从自然语言描述中直接学习视觉概念，从而实现零样本迁移，并在多个计算机视觉任务上展现出竞争力。

Feb, 2021

本文提出了 WebIE 数据集，其中包括 1.6M 个句子及其详细注释。基于此数据集，我们评估了基于生成模型的信息提取模型的跨域和跨语言性能，并提出了三种训练策略。我们的实验表明，实体链接方式得到明显提高。

May, 2023

本文介绍了部署在微软必应中的 Web 规模通用视觉搜索系统，使用分级学习排序框架，基于各种最新深度学习视觉特征，并在分布式异构计算平台上实现，定量和定性实验表明，我们的系统能够支持 Bing 网站和应用程序上的各种应用。

Feb, 2018

本文介绍了一个交互式系统，使用户能够操作图像，探索深度学习图像分类器的稳健性和灵敏度，用户可以使用图像修复算法删除图像特征并实时获得新的分类，从而通过实验性地修改图像并观察模型的反应，提出各种 “如果” 的问题。我们的系统允许用户比较和对比人类和机器学习模型用于分类的图像区域，揭示了一系列惊人的结果，从可观的失败（例如，“水瓶” 图像在去除一个人后变成了 “音乐会” ）到卓越的弹性（例如，“棒球选手” 图像即使没有手套或基座也能正确分类）。我们在 CVPR 会议上展示了我们的系统以供观众直播尝试，我们的系统在 https 网址上开源，视频演示可在此 https 网址上获得。

Jun, 2018

研究使用检索增强模型来提高计算机视觉任务的识别能力，引入了一种基于注意力机制的记忆模块，学习从外部记忆集合中检索出的每个例子的重要性，证明了使用 10 亿个图像 - 文本对的大规模记忆数据集的好处，并在 ImageNet-LT，Places-LT 和 Webvision 数据集中取得了最先进的准确性。

Apr, 2023

本文提出了一种单模态视觉表征学习的方法，主要用于电子商务中的产品推荐、搜索和广告应用，包括预训练骨干架构、卷积神经网络和视觉变换器家族等。通过离线和在线的方式，我们对实验方法进行了评估和分析，并提出了新的文本到图像生成离线评估方法来评估视觉相似度的推荐系统，在 Etsy 的生产环境中进行了机器学习系统的应用。

May, 2023