Aug, 2023

LLMs 理解透明盒模型，发现意外，提出修复建议

PDF
TL;DR通过采用分层推理方法，大型语言模型（LLMs）能够提供综合的模型级摘要，自动化数据科学中的常见任务，如检测与先前知识不符的异常情况，描述异常情况的潜在原因，并建议消除异常情况的修复方法。以医疗保健领域的多个例子为例，演示了 LLMs 的这些新功能的实用性，特别强调广义加性模型（GAMs）。最后，介绍了开源 LLM-GAM 界面工具包 TalkToEBM。
发现论文，激发创造
  • 使用 LLMs 和可解释模型的数据科学

    大规模语言模型与可解释模型（Interpretable Models）能够相互配合，LLMs 能够描述、解释和调试广义可加模型（Generalized Additive Models），结合 GAMs 描述的统计模式，使得数据集概述、问题回答和模型评论成为可能。LLMs 还能改进领域专家和可解释模型之间的交互，并产生关于潜在现象的假设。

    Feb, 2024

  • 将 LLM 的分解能力提取为简洁的语言模型

    通过离线强化学习将大型语言模型（LLM）的分解能力融入紧凑模型，我们利用 LLM 能力的进步提供反馈并生成专门的任务特定数据集来训练紧凑模型，该研究的主要贡献是开发了一个 AI 生成的数据集和建立了基线，强调了紧凑模型在复制复杂问题解决能力方面的潜力。

    Feb, 2024

  • 关于在心理健康应用中重新思考大型语言模型

    大型语言模型在心理健康方面表现出很大的潜力，但使用它们时需要保持谨慎和考虑，把它们视为辅助人类专业技术而非替代品，因为它们可能产生幻觉般的输出，并且在心理健康咨询中，人类辅导员的情感理解、细致解读和背景意识仍然不可替代。

    Nov, 2023

  • LLM 生成的黑盒解释在对抗场景中具备帮助性

    当解答复杂问题时，大型语言模型（LLMs）作为数字助手成为重要工具，然而我们的研究揭示了这种方法中隐藏的风险，称之为 “对抗性有益性”，即 LLMs 的解释使错误答案看起来正确，潜在地导致人们相信错误的解决方案。本文通过识别和研究 LLMs 采用的关键说服策略，揭示出 LLMs 在这方面存在的问题，并通过基于图形导航的特殊任务，验证了 LLMs 生成对抗性有益性解释时导航复杂结构化知识的能力。这些发现明确了黑盒解释设置的局限性，并提供了如何安全使用 LLMs 作为解释器的建议。

    May, 2024

  • 大语言模型时代的可解释性重新思考

    可解释机器学习与大型语言模型相结合，评估解释方法并提出使用语言模型分析数据集和生成交互式解释的两个研究重点。

    Jan, 2024

  • LLM2Loss: 利用语言模型进行可解释性模型诊断

    利用大型语言模型，结合跨模态基础模型 CLIP，提取视觉输入的语义有意义的表示，并利用轻量诊断模型，对模型失败与偏差进行分析，从而了解黑盒模型的性能

    May, 2023

  • 生成图分析的大型语言模型综述：查询、学习和应用

    通过研究大型语言模型在图数据上的应用，整理了现有研究中采用高级语言模型解决的图分析问题，并指出了现存挑战和未来研究方向。

    Apr, 2024

  • 小型 LLM 是弱工具学习者：多 LLM 代理

    我们提出了一个模块化的多语言模型框架，将大型语言模型能力分解为规划器、调用器和摘要生成器，并通过两阶段训练范式有效地训练该框架，该框架在各种工具使用基准测试中表现出超越传统单语言模型方法的效果，凸显了其在工具学习中的功效和优势。

    Jan, 2024

  • 关于 LLMs 决策能力的探究：在多智能体环境中评估 LLMs 的游戏能力

    通过 Game Theory 基于 GAMA-Bench 框架评估 LLMs 的决策能力，研究发现 GPT-3.5 在鲁棒性方面表现出色，但其概括能力相对有限，通过 Chain-of-Thought 等方法可以提高其性能；此外，评估发现 GPT-4 在 GAMA-Bench 上表现最好，得分为 72.5，而 GPT-3.5 的不断更新也标志着模型智能的显着提高。

    Mar, 2024

  • 基于需求定制的 LMLs 服务

    通过引入层级分布式的大型语言模型（LLM）架构，提高 LLM 在异构计算平台上的可访问性和可部署性，实现按需访问和定制化服务，并在用户与应用需求之间取得最佳权衡，推动人工智能技术的进步。

    Jan, 2024