LLM 模型的概念归纳：用于评估的用户实验
在本研究中，我们分析了当代大型语言模型对人类概念及其结构的理解程度，并讨论了发展具备概念意识的语言模型的方法，包括在不同阶段引入预训练和利用现有语言模型输出的简化方法。通过证明概念意识语言模型的初步结果，我们证明了其能够更好地符合人类直觉，提高了预测的稳定性，展示出了概念意识语言模型的潜力。
Nov, 2023
我们引入概念归纳，一种从非结构化文本中提取明确纳入标准的高级概念的计算过程，该过程通过使用大型语言模型不断合成抽样文本并提出具有不断广泛性的可解释概念。我们在具有毒性的在线评论数据集上实例化了 LLooM，并通过技术评估和四个分析场景的研究发现，LLooM 的概念在质量和数据覆盖方面优于传统的主题模型，并且在专家案例研究中能够帮助研究人员发现以前未注意到的见解。
Apr, 2024
知识的总结和组织对于学习和推理至关重要。我们展示了大型语言模型在知识方面存在显著的不一致性。通过使用简单的知识图谱，我们能够揭示语言模型中的概念上的不一致性，并提出了改进语言模型的策略。
May, 2024
通过使用自定义的大型语言模型，本研究提出了一个名为 “x-[plAIn]” 的新方法，旨在将可解释人工智能（XAI）更容易地应用于更广泛的受众群体中。该模型能够根据不同受众群体的知识水平和兴趣，生成清晰、简洁的 XAI 方法概述，为商业专业人士和学术界人士提供定制化的易于理解的解释，通过提供适应性解释，促进最终用户的决策过程，从而加强了 XAI 的可访问性，弥合了复杂的 AI 技术和实际应用之间的鸿沟。本研究表明了大型语言模型在使先进的 AI 概念对各种用户更易于理解方面的前景。
Jan, 2024
本研究对语言模型（LLMs）的理解能力进行了比较和对照，发现人类分析师和 LLMs 的分类和推理能力存在显著差异，但二者合作可能会产生协同效应，从而丰富了定性研究。
Jun, 2023
该研究论文提出了一种自监督可解释概念嵌入模型（ICEMs），通过利用大型语言模型的泛化能力，在自监督方式下预测概念标签，并通过可解释的函数提供最终预测结果。实验结果表明，ICEMs 可以以自监督方式进行训练，并达到类似于全监督概念模型和端到端黑盒模型的性能。此外，该模型在预测方面具有解释性、互动性和可控性，能够提供有意义的逻辑解释、允许通过概念干预修改中间预测结果，并引导大型语言模型按照所需的决策路径进行解码。
Jun, 2024
最近的研究关注点已经从简单地提高深度神经网络（DNNs）在各种任务中的性能转向了更具人可解释性的 DNNs。人工智能解释性领域已经观察到了包括基于显著性和基于概念的技术。概念是人类可理解的数据单元，是人类思考的基础。本文系统地回顾和分类了 DNNs 中各种概念表示及其发现算法，特别是在视觉领域。同时也提供了关于基于概念的模型改进文献的详细信息，这是第一个调查基于概念的模型改进方法的研究。
Mar, 2024
本研究对基于大型语言模型的对话 UI 进行了研究，目标是实现上下文感知的工具，该工具可以自动利用开发人员的编程上下文来回答问题。我们为用户提供了一个 IDE 插件，允许用户使用高级请求查询后端（例如 OpenAI 的 GPT-3.5 和 GPT-4），我们进行了 32 名参与者的探索性用户研究，研究确认这种方法比 Web 搜索更有效地帮助理解代码，但效果的差异因参与者的经验水平而异。
Jul, 2023
使用概念可信度和可读性作为评估概念解释的方法，通过量化忠诚度和自动测量可读性来解决黑箱模型的透明度问题。通过可靠性和有效性进行元评估，验证并选择概念评估措施。
Apr, 2024