该研究使用多语言数据集探索预训练语言模型中所编码的隐喻性信息,结果显示这些模型的中间层主要包含了隐喻性知识,并且该知识在多语言和多数据集中具有泛化性。
Mar, 2022
为了评估大型语言模型(LLMs)对隐喻理解的能力,我们发布了隐喻理解挑战数据集(MUNCH),该数据集提供了超过 10k 个含隐喻用法的句子的释义和 1.5k 个含不恰当释义的实例,以确定模型是否真正进行了完整的隐喻解释或者仅依赖词汇相似性。实验表明,MUNCH 对 LLMs 来说是一个具有挑战性的任务。
Mar, 2024
本文使用思维导向提示将概率模型结构引入了大型语言模型的上下文学习中,以推断潜在变量并选择合适的隐喻释义,从而改进了模型的模仿能力。
Sep, 2022
大型语言模型在产生的文字中是否有意义?本文提出了一个不同的方法来考虑语言模型满足最佳语义元论理论的条件,并运用了两种理论来论证大型语言模型输入的有意义。
Apr, 2024
本文研究了社交媒体图像背后的意图,并提出了一个意图数据集:Intentonomy,该数据集由人工注释的 28 个意图类别组成,研究了常见的视觉信息、文本信息,以及纯文本信息在意图分类器中的贡献。通过量化实验结果,本文发现视觉和文本信息对人类意图理解有明显的作用。
Nov, 2020
本研究提出了 “形象化语言图像识别” 数据集,探讨了视觉和语言模型理解多模态形象化语言的难点,并借助基准任务和基线模型初步研究了这一问题。结果表明,所有的模型在多模态形象化语言理解上都不如人类。该数据集和基准任务将促进模型更好地理解形象化语言。
Mar, 2023
本文研究如何预测在特定语境下,何时人们使用比喻语言而不是使用字面意思。作者建立了五个简单的模型,通过比较这些模型的成果与人们的判断,发现现有的认知和语言属性不足以系统地解释比喻与字面语言的选择。
May, 2022
提出了基于模型和训练集的字面注释,比较上下文意义以识别隐喻,并成功实现对基本注释目标的检测的一种新颖的隐喻检测方法,验证了对于隐喻检测建模基本意义的重要性和有效性。
May, 2023
本研究旨在基于概念隐喻理论通过控制生成过程并使用两种方法 (词汇级和序列生成模型) 生成有意义的隐喻表达。经过自动化和人工评估,实验结果表明,无监督的 CM-Lex 模型与最新的深度学习隐喻生成系统具有竞争力;而 CM-BART 优于其他所有模型。
Jun, 2021
通过参考以前的研究和从工业角度学习,我们为技术论坛帖子的意图创建了一个精细的分类法。通过手动标记和分析从在线论坛中提取的帖子数据集,我们理解了帖子构成(代码、错误信息)与其意图之间的关系。此外,我们设计了一个基于预训练的 Transformer 模型来自动预测帖子的意图。我们的意图预测框架的最佳变体,在 Micro F1 得分为 0.589,Top 1-3 准确率为 62.6%至 87.8%,平均 AUC 为 0.787 的情况下,优于最先进的基准方法。我们对论坛帖子的性质和自动分类可能有助于论坛维护者或第三方工具开发者改善技术论坛上帖子的组织和检索。我们在补充材料包中发布了我们的带注释数据集和代码。
Dec, 2023