通过语义一致性合成、视觉显著性确定和自适应文本外观模型等三个创新设计，提出了一种新的图像合成技术，用于生成大量标注数据，以用于训练准确和稳健的场景文本检测和识别模型。五个公共数据集的实验证明了该技术在训练精确和稳健的场景文本检测和识别模型方面的卓越性能。

Jul, 2018

本研究提出了注意力归一化模块 (AN) 用于改进图像的长程关联性以及利用语义对分割特征图进行处理，相比于自注意力 GAN，AN 不需要测量所有位置之间的关联性，因此可以直接应用于大尺寸的特征图，本文通过对比实验证明了 AN 的有效性。

Apr, 2020

本文提出了一种基于任意风格图像操作网络（SIM-Net）的方法，该方法利用无语义信息作为指导并采用自我监督策略中的区域传输策略进行图像生成。定性和定量实验证明了我们的方法相较于现有方法的优越性。

Jan, 2024

通过 Symmetric Superimposition Modeling (SSM) 方法，该研究致力于同步捕捉文本图像中的字符特征和语言信息，并在各种文本识别基准测试中展示了其有效性和广泛性，以平均 4.1% 的性能提升和 86.6% 的新的 Union14M 基准平均字词准确性成果。

May, 2024

通过自我注意力相似度损失的方法，本文提出了一种基于涂鸦监督学习的简单而有效的深度网络结构，用于医学图像分割。

Dec, 2023

本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

Dec, 2018

本文提出了一种新的半监督学习方法来进行场景文本识别（STR），该方法从视觉和语义两个方面融合了单词级一致性正则化，通过使用最短路径对齐模块以及采用强化学习框架来优化嵌入空间中预测字符串的语义相似性，实验结果表明该方法在多个标准和具有挑战性的 STR 基准测试中优于现有的半监督 STR 方法。

Feb, 2024

本文提出了一种语义自对齐网络 (SSAN)，旨在解决文本到图像中的人物再识别 (text-to-image person re-identification) 中的问题。SSAN 使用一个新颖的手段 —— 自动从两种模态提取语义对齐的部分级特征，并通过设计一个多视角非局部网络来捕捉身体部分之间的关系，从而建立更好的身体部位和名词短语之间的对应关系。此外， SSAN 还引入了一种 Compound Ranking (CR) loss，利用同一身份的其他图像的文本描述提供额外的监督，从而有效地降低文本特征的类内差异。经过广泛的实验，证明了该方法在性能上优于现有的最先进方法和一些高级算法，并提供了新的 ICFG-PEDES 数据集和 SSAN 代码。

Jul, 2021

本论文提出了一种有效的联合信息和语义对齐网络 (ISANet) 用于文本驱动的人物搜索，该网络能够准确定位和对齐图像和文本之间的信息，并能够适应性地聚合图像和文本特征以实现本地细粒度对应关系和全局对齐，并在多个数据库上取得了优越的性能。

Aug, 2022

提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

Sep, 2021