LLM2Loss: 利用语言模型进行可解释性模型诊断

May, 2023

LLM2Loss: 利用语言模型进行可解释性模型诊断

LLM2Loss: Leveraging Language Models for Explainable Model Diagnostics

Shervin Ardeshir

TL;DR利用大型语言模型，结合跨模态基础模型 CLIP，提取视觉输入的语义有意义的表示，并利用轻量诊断模型，对模型失败与偏差进行分析，从而了解黑盒模型的性能

Abstract

Trained on a vast amount of data, large language models (LLMs) have achieved unprecedented success and generalization in modeling fairly complex textual inputs in the abstract space, making them powerful tools for zero-shot learning. Such capability is extended to other modalities such

large language models zero-shot learning visual domain clip model failures

发现论文，激发创造

关于医学图像分析的大型视觉语言模型的实证研究

本研究探讨了视觉语言模型在医学图像分析任务中的零样本和少样本鲁棒性，通过全面的实验验证了视觉语言模型在分析生物医学图像方面的有效性。

Feb, 2024

融入视觉专家解决多模态大语言模型中的信息损失

这篇论文提出了一种通过专家混合知识增强机制来改善多模态大型语言模型 (MLLMs) 的视觉感知能力的方法，并通过集成视觉专家实现了视觉输入的更全面准确的概括，进一步提升了 MLLMs 的视觉感知能力。

Jan, 2024

基于 LMM 的知识在图像分类任务中的利用

使用 Large Multimodal Models 中的 MiniGPT-4 模型，结合图像编码器和文本编码器提取语义描述，以提高图像分类任务的性能。

Jun, 2024

基于 LLM 监督的零训练语义分割

该论文介绍了一种利用大型语言模型（LLM）进行文本监督语义分割的新方法，该方法通过生成更准确的类别表示来提供多样化的分割结果，并通过合并不同的子类描述符的分割图确保对测试图像的更全面的表示。经过三个标准基准的全面实验，我们的方法比传统的文本监督语义分割方法表现出更好的性能。

Mar, 2024

LLM 生成的黑盒解释在对抗场景中具备帮助性

当解答复杂问题时，大型语言模型（LLMs）作为数字助手成为重要工具，然而我们的研究揭示了这种方法中隐藏的风险，称之为 “对抗性有益性”，即 LLMs 的解释使错误答案看起来正确，潜在地导致人们相信错误的解决方案。本文通过识别和研究 LLMs 采用的关键说服策略，揭示出 LLMs 在这方面存在的问题，并通过基于图形导航的特殊任务，验证了 LLMs 生成对抗性有益性解释时导航复杂结构化知识的能力。这些发现明确了黑盒解释设置的局限性，并提供了如何安全使用 LLMs 作为解释器的建议。

May, 2024

XAI4LLM。让机器学习模型和 LLM 合作，提升医疗领域的上下文学习

通过结合医学领域知识，采用多层结构的提示方法实现零 / 少样本上下文学习，并探索用户与大型语言模型的两种交流方式对诊断准确性和风险因素的影响。结果表明，大型语言模型通过域知识和定制化沟通策略能够显著提高诊断流程的准确性。研究还强调了在大型语言模型应用中优化训练样本数量和交流方式以提高准确性并减少偏见的重要性。

May, 2024

LLMs 理解透明盒模型，发现意外，提出修复建议

通过采用分层推理方法，大型语言模型（LLMs）能够提供综合的模型级摘要，自动化数据科学中的常见任务，如检测与先前知识不符的异常情况，描述异常情况的潜在原因，并建议消除异常情况的修复方法。以医疗保健领域的多个例子为例，演示了 LLMs 的这些新功能的实用性，特别强调广义加性模型（GAMs）。最后，介绍了开源 LLM-GAM 界面工具包 TalkToEBM。

Aug, 2023

SemioLLM：大型语言模型在癫痫研究中的符号学分析评估

本研究通过对临床数据库中的文本描述进行测试，评估了最新的大型语言模型在癫痫诊断中结合内部知识和推理的能力，并提供了首个对当前 SOTA 大型语言模型在癫痫医学领域的综合评估结果，强调了它们利用患者病史中的非结构化文本辅助诊断过程的能力。

Jul, 2024

ZeroDL：基于大型语言模型的零样本分布学习文本聚类

我们提出了一种简单但有效的方法来将任务上下文化为特定的大语言模型，通过观察给定的大语言模型如何描述目标数据集，聚合大语言模型的开放式推理结果，并最终将聚合的元信息纳入实际任务中，我们展示了这种方法在文本聚类任务中的有效性，并通过上述过程的示例突出了上下文化的重要性。

Jun, 2024

CHiLL: 利用大型语言模型从临床笔记中进行零 - shot 定制可解释特征提取

本研究提出使用大型语言模型来进行零样本特征提取并为医学性风险预测模型提供高层次的自然语言特征选取方法，通过自动化特征提取，不需要手动从原始电子病历中提取特征，提供与参考特征相媲美的性能，同时提高了模型的可解释性。

Feb, 2023