Jun, 2024

探索大型语言模型（GPT-4）在二进制逆向工程中的功效

PDF
TL;DR本研究调查了大规模语言模型（LLM），特别是 GPT-4，在二进制反向工程（RE）领域的能力。通过采用结构化的实验方法，我们分析了 LLM 在解释和说明人工编写的和反编译的代码方面的性能。研究分为两个阶段：第一阶段是基本代码解释，第二阶段是更复杂的恶意软件分析。主要发现表明 LLM 在一般代码理解方面能力强，但在详细技术和安全分析方面的有效性有所不同。本研究强调了 LLM 在反向工程中的潜力和当前的局限性，为未来的应用和改进提供了关键见解。此外，我们还研究了实验方法，如评估方法和数据限制，为该领域的任何未来研究活动提供了技术视野。
large language modelsbinary reverse engineeringcode interpretationmalware analysisllms' proficiency
发现论文，激发创造
  • 评估大型语言模型在课堂对话分析中的应用

    该研究探讨了大型语言模型（LLM），特别是 GPT-4，在课堂对话分析中的应用，这是教学诊断和质量改进的关键研究任务。研究发现传统定性方法在教育研究中具有知识密集和劳动密集的特点，调查了 LLM 在简化和增强分析过程方面的潜力。通过对中学的数据集进行分析，包括数学和语文课堂的对话，该研究对人工编码的对话进行了评估，并使用定制的 GPT-4 模型进行了分析。该研究重点比较了手动注释和 GPT-4 输出，以评估其在教育对话分析中的有效性。评估了 GPT-4 的时间效率、编码者间一致性和编码者间可靠性。结果表明，使用 GPT-4 能够显著节省时间，并且模型与人工编码者之间具有高度的一致性，尽管在某些代码上存在差异。这些发现凸显了 LLM 在教学评估和促进方面的巨大潜力。

    Feb, 2024

  • 大型语言模型对科学发现的影响：使用 GPT-4 的初步研究

    近年来，在自然语言处理方面取得突破性进展的大型语言模型（LLM）的出现，展示了其在包括理解、生成和翻译自然语言甚至超越语言处理的任务方面的卓越能力。本文报告中，我们深入研究了 LLM 在科学发现环境中的性能，重点关注 GPT-4，这一最先进的语言模型。我们的调查涉及药物发现、生物学、计算化学（密度泛函理论（DFT）和分子动力学（MD））、材料设计和偏微分方程（PDE）等多个科学领域。评估 GPT-4 在科学任务上的表现对于揭示其在各个研究领域中的潜力、验证其特定领域的专长、加速科学进展、优化资源分配、指导未来模型发展以及促进跨学科研究至关重要。我们的探索方法主要包括专家驱动的案例评估，提供对模型理解复杂科学概念和关系的定性洞见，以及偶尔的基准测试，定量评估模型解决明确定义的特定领域问题的能力。我们的初步探索表明，GPT-4 在各种科学应用中展示出有希望的潜力，显示出处理复杂问题解决和知识整合任务的能力。总体而言，我们评估了 GPT-4 的知识库、科学理解、科学数值计算能力以及各种科学预测能力。

    Nov, 2023

  • GPT-4 能否复制实证软件工程研究？

    本研究旨在考察大型语言模型（如 GPT-4）在新数据上执行经验软件工程研究的复制能力，发现 GPT-4 能够提供正确的假设，但难以生成反映软件工程数据的常规知识的假设，同时在生成的代码中存在实现层面错误，显示出对软件工程知识的欠缺。这些发现对于利用 LLMs 进行软件工程研究以及软件团队中的数据科学家具有重要意义。

    Oct, 2023

  • 使用大型语言模型进行系统综述中的数据提取探索：快速可行性研究

    该文章介绍了使用 GPT-4（一个大型语言模型）快速可行性研究来（半）自动化系统性综述中的数据提取，在设计和评估 LLM-based 自动化工具方面仍然存在欠缺的问题。

    May, 2024

  • 利用大型语言模型扩展基于证据的教学设计专业知识

    本论文探讨了在教学设计中利用大型语言模型（LLMs），尤其是 GPT-4 的全面应用。我们关注以缩小理论教育研究和实际实施之间的差距为目的，通过扩大基于证据的教学设计专业知识的规模。本文讨论了 AI 驱动内容生成的益处和局限性，强调人为监督保证教育材料质量的必要性。我们通过两个详细的案例研究阐释了这一工作，其中应用 GPT-4 创建了复杂的高阶评估和不同课程的主动学习组成部分。根据我们的经验，我们提供有效使用 LLM 的最佳实践，如利用模板，微调，处理意外输出，实施 LLM 链，引用参考文献，评估输出，创建量表，评分和生成干扰项。我们还分享了我们对未来的推荐系统的愿景，该推荐系统可以根据用户的独特教育背景，定制 GPT-4 从教育研究中提取教学设计原则，并创建个性化的、具备证据支持的策略。本研究有助于理解和最大限度地利用 AI 驱动的语言模型潜力，以增强教育成果。

    May, 2023

  • 探索和表征用于嵌入式系统开发和调试的大型语言模型

    LLMs like GPT-4 show exceptional cross-domain understanding and reasoning for embedded systems development, producing fully correct programs, functional interfaces, register-level drivers, code for LoRa communication, and context-specific power optimizations, resulting in improved productivity and success rate using an AI workflow.

    Jul, 2023

  • 大型语言模型能否发现和修复易受攻击的软件？

    通过评估 OpenAI 的 GPT-4 等大型语言模型与传统的静态代码分析器（如 Snyk 和 Fortify）在检测软件漏洞方面的能力，我们发现 GPT-4 能够识别出大约四倍于其他模型的漏洞，并提供可行的修复方案，同时显示出较低的误报率。未来研究应当探索系统级漏洞，并整合多个静态代码分析器，以获得对大型语言模型潜力的全面视角。

    Aug, 2023

  • 二进制代码摘要：ChatGPT/GPT-4 与其他大型语言模型对比评估

    本研究探讨了大型语言模型 (LLMs) 在二进制代码理解中的潜力，通过引入一个包含超过 557K 个二进制函数的全面基准和数据集 BinSum，以及一种新的提示综合和优化方法，并提出了一种新的语义相似度度量方法，对 ChatGPT、GPT-4、Llama 2 和 Code Llama 等知名 LLMs 进行了广泛评估，得出了 10 个关键见解，强调了 LLMs 在该领域的变革潜力以及尚待克服的挑战。

    Dec, 2023

  • GPT-4 作为研究人员和计算软件之间的接口：提高可用性和可重复性

    GPT-4 在计算材料科学中应用可以解决科学软件采用自定义输入语言的挑战以及由于描述模拟方法不足导致的研究结果复现性差的问题，通过生成正确的输入文件和详细的计算任务描述，减少研究者常规任务、加速新用户培训并提高结果可复现性。

    Oct, 2023

  • LLM4Decompile：使用大型语言模型进行二进制代码反编译

    通过发表首个开源的用于反编译的大型语言模型 (LLMs)，以及引入考虑重新编译和重新执行性能的第一个数据集 Decompile-Eval，本研究从程序语义的角度评估了反编译模型。实验证明，LLM4Decompile 能够准确反编译 21% 的汇编代码，这相较于 GPT-4 有了 50% 的改进。

    Mar, 2024