本文提出了一种新的算法Show-and-Fool，用于研究神经图像字幕系统在机器视觉和感知中健壮的语言基础，该算法通过两种评估方法检查神经图像字幕系统是否能够误导输出某些随机选择的字幕或关键字。实验证明，我们的算法可以成功地制作出视觉相似的对抗性例子，对其他图像字幕系统高度可传递，并导致了视觉语言基础的新型健壮性影响和新的洞察。

Dec, 2017

利用图像翻译技术生成无限制的对抗样本，欺骗目标脸部识别系统并通过认证防御，实现了攻击成功率约为90%和80%的结果，同时保持个体的可识别性和感知逼真度。

May, 2019

使用图像和标题的联合信息进行预训练可提高图像表征能力，该方法通过 image-conditioned masked language modeling（ICMLM）任务来实现，训练出的表征能够成功应用于多种目标任务。

Aug, 2020

本文研究在跨模态预训练中使用遮蔽语言建模（Masked Language Modeling，简称MLM）的一些问题，提出了一些针对这些问题的替代遮蔽策略，在LXMERT模型预训练时，我们的替代策略始终优于原始遮蔽策略，特别是在低资源设置下，我们的预训练方法显著优于基准模型，并且通过对影像对象的特定标记任务的评估，我们的结果和分析表明，该方法允许更好地利用训练数据。

Sep, 2021

该研究旨在调查CAPTCHA生成系统中的缺陷和漏洞，以设计更具弹性的CAPTCHA。通过创建CapNet，我们提出了一种卷积神经网络平台，旨在评估数字和字母数字CAPTCHA，从而提高网站的安全性。

Feb, 2023

本文提出了一种针对图像到文本模型的灰盒对抗攻击方法，并通过实验验证了其有效性。

Jun, 2023

通过使用扩散模型生成图像，文中介绍了一种名为Diff-CAPTCHA的图像点击CAPTCHA方案，该方案通过减弱用于机器学习的字符特征、增加CAPTCHA中字符特征的多样性以及增加破解算法的难度，有效提高了CAPTCHA的安全性。研究还通过多种攻击方法验证了Diff-CAPTCHA的安全性，并将其与三种基准方案进行了比较，实验结果表明，扩散模型在提高CAPTCHA安全性的同时能够保持良好的人类可用性。

Aug, 2023

通过将敌对示例与CAPTCHA结合，生成能够欺骗深度模型的敌对CAPTCHA，以解决安全性和可用性的权衡问题，本文分类方法并系统回顾生成敌对示例和敌对CAPTCHA的常用方法，并分析可用于防御敌对CAPTCHA的一些防御方法和潜在威胁，最后探讨了敌对CAPTCHA的未来研究方向。

Nov, 2023

这项研究探讨了图像字幕（IC）模型解码来自不同数据集的掩蔽视觉内容的能力。我们的发现揭示了IC模型生成来自掩蔽图像的字幕的能力，这些字幕与原始内容密切相关。值得注意的是，即使在存在掩蔽的情况下，该模型仍然能够灵活地生成描述性的文本信息，超越了原始图像生成的字幕所能观察到的内容。虽然IC模型的解码性能随着掩蔽区域面积的增加而下降，但当图像的重要区域没有大面积掩蔽时，模型仍然表现良好。

Mar, 2024

通过扩展受扩散过程启发的输入文本纯化方法，我们提出了一种名为MaskPure的新方法，无需对抗分类器进行训练且不需要攻击类型知识，它在同类防御方法中显示出卓越的稳健性和可靠性，同时证明了它的可证实稳健性。

Jun, 2024