Aug, 2023

使用大型语言模型进行数据竞争检测

PDF
TL;DR借助大型语言模型 (LLMs) 的提示工程和微调技术，我们探索了一种新颖的基于 LLMs 的数据竞争检测方法。通过创建 DRB-ML 数据集，我们评估了代表性的 LLMs 并对开源模型进行微调，实验证明 LLMs 可作为数据竞争检测的一种可行方法，但在需要有关引起数据竞争的变量对的详细信息时，它们仍无法与传统的数据竞争检测工具相竞争。
large language modelsllmsdata race detectionprompting engineeringfine-tuning techniques
发现论文，激发创造
  • 利用大型语言模型自动演化工业数据中心研发周期

    利用大语言模型（LLMs）让工业数据驱动研发循环自动演化的愿景。

    Oct, 2023

  • 数据中心中大型语言模型开发的特征

    对大型语言模型进行了深入研究，调查了与以往任务特定的深度学习工作负载之间的差异，探索了资源利用模式，并确定了各种作业故障的影响。通过故障容忍的预训练和评估的解耦调度，提出了优化针对大型语言模型系统的潜在机会。

    Mar, 2024

  • 评估和缓解大型语言模型中的语言歧视

    通过使用多种语言进行训练，大型语言模型（LLMs）通常具有多语言支持，并展示出在不同语言描述的任务中解决问题的显著能力。然而，由于在不同语言之间训练数据的不均衡分布，LLMs 可能表现出语言歧视，即面对相同任务但在不同语言中描述时，难以保持一致的响应。在本研究中，我们首先从安全性和质量两个方面探讨 LLMs 在对各种语言的查询产生的输出的一致性。我们使用两个数据集（AdvBench 和 NQ）对四个 LLMs（Llama2-13b、Gemma-7b、GPT-3.5-turbo 和 Gemini-pro）进行分析。结果显示，与孟加拉语、格鲁吉亚语、尼泊尔语和迈蒂利语的查询相比，LLMs 对英语、法语、俄语和西班牙语的查询表现出更强的人类对齐能力（平均有 1.04％的有害查询成功越狱）。此外，对于英语、丹麦语、捷克语和斯洛文尼亚语的查询，LLMs 倾向于产生具有更高质量的响应（平均 F1 得分为 0.1494），与其他语言相比。基于这些发现，我们提出了一种基于相似度的投票机制 LDFighter 来减轻 LLMs 中的语言歧视。LDFighter 确保为不同语言使用者提供一致的服务。我们使用良性查询和有害查询来评估 LDFighter。结果显示，LDFighter 不仅显著降低了成功越狱的概率，还平均改善了响应质量，证明了其有效性。

    Apr, 2024

  • 利用大型语言模型进行软件漏洞检测：综合基准研究

    通过使用大型语言模型（LLMs）来辅助发现源代码中的漏洞，相比传统的静态分析工具，我们发现 LLMs 能够找出更多问题，提高漏洞检测的回溯率和 F1 分数，从而使得代码更加安全。

    May, 2024

  • 性能对齐的 LLM 用于生成高效代码

    通过引入强化学习的方法，将代码 LMM 的输出与性能对齐，提高生成代码的期望加速比，并在一组基准任务中展示了 0.9 至 1.6 倍的串行代码速度提升和 1.9 至 4.5 倍的 OpenMP 代码速度提升。

    Apr, 2024

  • DiscoveryBench：基于大型语言模型的数据驱动发现

    快速提取、调用函数和数据分析是大型语言模型 (LLMs) 快速生成代码，从提供的数据集中自动化搜索和验证假设的关键。我们通过 DiscoveryBench 这一全面的基准测试来评估这个问题，该基准测试形式化了数据驱动发现的多步骤过程。该基准测试的设计是为了系统评估当前模型在发现任务中的能力，并为改进这些能力提供有用的资源。

    Jul, 2024

  • 推荐系统中的大型语言模型调查

    本文概论了基于大型语言模型的推荐系统，提出了两种主要类型（分别为判别型 LLM 推荐 DLLM4Rec 和生成型 LLM 推荐 GLLM4Rec），分别从方法、技术和性能等方面对现有的 LLM 推荐系统进行了系统的分类和评估，并指出了主要挑战和有价值的发现。

    May, 2023

  • 从查询工具到因果架构：利用大型语言模型从数据中进行先进的因果发现

    本文提出了一种结合基于知识的 LLMs 因果分析和数据驱动因果结构学习的新框架，以构建因果结构学习的新范式，并介绍了一套广泛的提示组，以从给定变量中提取因果图，并评估 LLM 先前因果对从数据中恢复因果结构的影响

    Jun, 2023

  • 在游戏开发中利用大型语言模型进行高效的故障分析

    这篇论文提出了一种利用大型语言模型（LLMs）自动识别导致测试失败的代码更改的新方法，并通过定量和定性评估验证了该方法的有效性。通过 EA 开发者报告的问题进行的数据集评估结果显示，我们的方法在准确率上达到了 71％。此外，通过用户研究对我们的模型进行了评估，结果显示在开发者的视角下使用该工具可以显著减少问题调查所需的时间，最高可达 60％。

    Jun, 2024

  • 教育计划修复基准测试

    为了促进竞争方法的公平比较和标准化，该研究提出了一个新颖的教育性程序修复基准，对两个高质量的编程数据集进行整理，引入一种新的评估度量指标 rouge@k 来评估修复质量，并评估了五种最近的模型以建立基础性能。

    May, 2024