Aug, 2023

使用句法结构评估和解释大型语言模型在代码中的应用

PDF
TL;DRASTxplainer 是针对代码 LLMs 的一种可解释性方法，不仅能提供 LLM 评估的新方法，还能通过可视化 LLM 预测结果帮助终端用户理解模型预测。通过在常用的 GitHub 项目上进行实证评估和用户研究，研究结果表明 ASTxplainer 有潜力深入研究 LLM 的效能，并帮助终端用户理解预测结果。
large language modelsllms for codeexplainabilityastxplainermodel predictions
发现论文，激发创造
  • 探索大型语言模型用于代码解释

    使用各种大型语言模型自动生成代码片段的自然语言摘要，研究结果表明，代码语言模型优于其通用模型，而零 - shot 方法在训练集和测试集之间分布不同的数据集上取得了更好的结果。

    Oct, 2023

  • 比较由学生和大型语言模型创建的代码解释

    通过对大型语言模型进行评估，并将其与学生创建的代码解释进行比较，本文发现自动生成的 LLM 代码解释具有更高的准确性和易理解性，从而提供了一种解决教育中代码解释挑战的新方法。

    Apr, 2023

  • 大型语言模型的可解释性概述

    对大型语言模型的解释技术进行分类和总结，并讨论了这些技术在训练范式、生成局部解释和全局解释方面的应用以及评估指标、调试模型和提高性能的挑战和机会。

    Sep, 2023

  • 使用 LLMs 自动评估学生代码理解

    利用 Large Language Models (LLMs) 和 encoder-based Semantic Textual Similarity (STS) 模型对编程领域学生解答的自动评估进行了比较，发现 LLMs 在少样本和思维链模式下与 fine-tuned encoder-based 模型的性能相当。

    Dec, 2023

  • 解释解释的 XAI 未来方向

    利用大型语言模型将机器学习解释转化为自然的人类可读叙述，以增强解释性和可用性。

    May, 2024

  • 从理解到应用：关于大型语言模型可解释性的调查

    本文探讨大型语言模型（LLMs）的可解释性领域，强调了增强 LLMs 可解释性的必要性，重点关注预训练的基于 Transformer 的 LLMs，如 LLaMA，以及改善模型透明度和可靠性的解释性方法和评估方法的分类与讨论。

    Jan, 2024

  • 大语言模型时代的可解释性重新思考

    可解释机器学习与大型语言模型相结合，评估解释方法并提出使用语言模型分析数据集和生成交互式解释的两个研究重点。

    Jan, 2024

  • 大型语言模型生成代码解释时的行为

    大型语言模型对编程语言的代码示例生成的解释在调校要求、目标代码示例、编程语言、温度参数和模型版本等方面存在变化，对于 Java 和 Python，解释的可读性保持在 7 至 8 年级左右，词汇密度即有意义的词汇与总解释大小的比例相对较高。此外，解释在正确性方面得分很高，但在完整性、简洁性和情境化方面得分较低。

    Nov, 2023

  • 用于代码的大型语言模型的程序测试能力

    利用对最近的大型语言模型进行了代码测试的详尽分析，本研究展示了这些模型的一系列有趣性质，并展示了如何改进大型语言模型的程序测试能力，通过利用生成的测试用例来提高合成程序的质量，相较于 GPT-3.5-turbo 和最新的最先进技术，我们的方法在 HumanEval + 上的代码通过率分别提高了 11.77% 和 4.22%。

    Oct, 2023

  • 大型语言模型是事后解释器吗？

    利用大型语言模型和上下文学习，本研究提出了一种新的解释框架，展示了语言模型在解释其他预测模型方面的有效性，并通过实验证明了其与现有解释技术相媲美的性能，从而在可解释的人工智能领域开辟了新的研究前沿。

    Oct, 2023