最近在指导的大型视觉语言模型方面取得的进展，使得模型能够轻松生成高层次的基于图像的解释。然而，我们的工作揭示了这些模型在细粒度的视觉分类方面的缺陷，并且我们提出了一个多粒度属性为中心的评估基准，用于评估大型视觉语言模型的细粒度视觉理解能力并提供显著改进的可解释性。

Feb, 2024

本研究提出了一种基于逻辑规格说明的神经符号方法 LASER，通过其可有效地训练低级感知模型以提取符合所需高级规格说明的细粒度视频表示，不仅可以学习细粒度的视频语义，而且还可以优于现有基准在下游任务中表现得更好。

Apr, 2023

本研究提出了一款交互式可视化工具 LinguisticLens，通过对大语言模型生成的数据集的句法多样性进行聚类，用户可以快速检查数据集的总体情况并检查单个示例。

May, 2023

该研究提出了一种新的方法，通过多模态深度学习框架从文本和视觉数据中提取洞察力，以模拟和评估人类对扫描电子显微镜 (SEM) 图像（特别是玻璃材料）的交互。我们的模型（GlassLLaVA）在解释、特征识别和检测以前未见的 SEM 图像中的缺陷方面表现出色，为科学成像应用引入了多用途的评估指标，进一步缩小人与机器解释在科学成像中的差距，为未来研究和广泛应用提供了广阔的可能性。

Sep, 2023

运用预训练的大规模语言 - 图像模型，本文尝试解决可视化分析中的两个问题：大规模图像数据集的高效探索与潜在数据偏差的发现以及图像标题的评估与生成过程的引导。通过分析从语言 - 图像模型自动生成的图像标题，我们能深入了解视觉内容的语义基础，并发现数据偏差。同时，通过展示视觉内容与文本标题之间的关联，揭示了预训练的语言 - 图像模型在标题生成能力上的不足，并提出了一种交互界面来引导标题生成。通过具体案例研究和大规模图像数据集的领域实践者验证了该系统的有效性。

Nov, 2023

通过引入 VISLA 基准测试，评估语言模型的语义和词汇理解能力，本论文揭示了现有最先进语言模型在理解语义细节方面的挑战，通过三句与图像相关的语义（不）等价任务，对视觉 - 语言模型和单模态语言模型进行评估，结果显示了在区分词汇和语义变化方面的困难，语言模型编码器对语义和词汇变化的敏感性大于单模态文本编码器，论文的贡献包括图像 - 文本和文本 - 文本检索任务的统一，无需微调的现成评估方法，并在词汇改动存在的条件下评估语言模型的语义（不）变化。

Apr, 2024

使用粗粒度监督进行细粒度类别发现是一项经济高效但具有挑战性的任务，本文提出一种使用语义相似性引导样本分布并形成表示细粒度类别的独特聚类的方法，并进行了理论和实证上的验证，结果在准确度、调整兰德指数和标准化互信息等方面超越了现有的最先进方法。

Jun, 2024

提出了一种标签语义感知预训练（LSAP）方法，该方法将标签语义信息融入预训练生成模型中，并通过有标签的来自不同领域的句子的次预训练进行，从而提高了文本分类系统的泛化性能和数据效率，在 ATIS、Snips、TOPv2、AG News 和 Yahoo! Answers 几项任务中展现出显著的性能提升，尤其对于少样本学习的情况表现出色。

Apr, 2022

本文提出了一种基于标记级精细化查询理解的通用、模块化的神经语义分析框架，包括命名实体识别器（NER）、神经实体链接器（NEL）和神经语义解析器（NSP），该框架联合建模查询和数据库，并基于动态生成的语法合成基于树结构的 SQL 查询。实验证明，该模型在 SQUALL 数据集上的执行准确率达到了 56.8％，超过了现有技术水平 2.7％。

Sep, 2022

通过对 NLP 模型中的观察段或语义相关的词群进行分析，将解释性摘要方法更加灵活化，并通过分析不同段落的虚假或肯定例子，引入了 NLP 模型的根本原因分析方法。最后，通过对 Yelp 评论数据集的实验证明，利用单词和 / 或信息中的组 / 集群结构可以帮助解释 NLP 模型的决策，并可用于评估模型对性别，语法和单词含义的敏感性或偏差。

Mar, 2023