我们研究了使用分离的概念和属性编码器来细调语言模型，以显式地模拟概念及其属性，以此来预测常识属性的可行性，结果显示与直接细调语言模型相比，使用所提出的编码器能够更高准确率地预测常识属性。

Oct, 2022

本研究旨在探讨如何自动计算多模态训练数据中的单词与主题的视觉具体性以此来预测机器学习算法学习文本与视觉关系能力的高低。研究发现具体概念确实比抽象概念更容易学习，且不同数据集中视觉具体性与算法表现之间的关系是有所不同的，建议在多模态研究中使用视觉具体性评分以便更好地探索概念。

Apr, 2018

计算机通过视觉能否感知物体的物理属性？我们提出了一种利用图像集合对物体的物理属性进行密集预测的新方法，通过借鉴人类如何通过视觉进行物理推理的方式，利用大型语言模型为每个物体提出候选材料，然后构建一个嵌入语言的点云，并利用零样本核回归方法估计每个三维点的物理属性，我们的方法准确、无需注释，并适用于开放世界中的任何对象。实验证明了该方法在各种物理属性推理任务中的有效性，如估计常见物体的质量以及摩擦和硬度等其他属性。

Apr, 2024

通过神经语言模型进行财产归纳，研究发现它们基于类别成员资格表现出归纳偏好，暗示了其表述中存在分类偏差。

May, 2022

人们在特定语境下会感知和理解物体的不同视觉属性。以香蕉为例，它腐烂时变成棕色，未成熟时是绿色。我们呈现了 WinoViz，一个仅包含文本的评估数据集，包括 1,380 个示例，以测试语言模型在不同语境或状态下理解物体的变体视觉属性的推理能力。我们的任务具有挑战性，因为它需要实用推理和视觉知识推理。我们还呈现了多跳数据，这是我们数据的一种更具挑战性的版本，需要多步推理链来解决我们的任务。在我们的实验分析中，我们的发现是：a）如 GPT-4 等大型语言模型表现出良好的性能，但当涉及到多跳数据时，它们的性能显著下降。b）大型模型在实用推理方面表现较好，但在我们的任务中，视觉知识推理是一个瓶颈。c）视觉语言模型胜过它们的仅语言模型对应物。d）具有机器生成图像的模型在我们的任务中表现不佳，这是由于生成图像的质量较差。

Feb, 2024

通过有监督学习，利用词嵌入作为解释变量，我们研究了具体性和形象性这两个概念的可预测性。我们利用与单一向量空间对齐的跨语言嵌入的集合在语言内和语言间进行预测。我们发现，具体性和形象性这两个概念在语言内和语言间都具有高度可预测性，跨语言预测的相关性损失最多达到 20％。我们进一步展示了通过词嵌入的跨语言传输比简单通过双语词典进行传输更加有效。

Jul, 2018

ProLab 是一种创新的方法，通过使用基于属性级标签空间来创建强大且可解释的分割模型。它基于两个核心设计：一是使用大型语言模型和精心设计的提示生成具有意义的常识知识的所有类别的描述，二是引入描述嵌入模型以保持描述之间的语义相关性，并将它们聚类为一组描述性属性，这些属性基于可解释的与人类识别理论一致的常识知识。实验证明，我们的方法使分割模型在五个经典基准测试上表现更强大，并且与类别级监督相比具有更好的可扩展性。我们的可解释分割框架还具备利用领域内描述性属性仅对领域外或未知类别进行分割的泛化能力。

Dec, 2023

本论文通过 COMPS 测试不同 PLMs 的语义概念属性及其推理能力，结果表明 PLMs 在基于知识表达的相关概念中表现相对困难且缺乏鲁棒性，从而对 PLMs 在正确推理方面的能力提出重要问题。

Oct, 2022

本篇论文提出了一种探测任务的方法，通过训练分类器来比较各种最新的文本 - 图像语义嵌入，揭示了语义嵌入中存在的问题并提出了问题解决方案。实验结果表明，视觉 - 语义嵌入的识别准确率比单媒体嵌入提高了 12% 以上。

Feb, 2021

研究了文本词汇的语法属性和位置对于可解释性的影响，将研究结果运用到一个基于序列标注的模型 Seq2Saliency 中，同时构建了一个新的数据集 PrSalM，并对不同属性的词汇的可解释性进行了实验验证。

Jul, 2022