征服旗帜：利用大型语言模型揭示数据洞察
大型语言模型系统在安全方面面临重要风险，如恶意设计的消息试图覆盖系统的原始指令或泄露私人数据。为了研究这个问题，我们在 IEEE SaTML 2024 组织了一场夺旗赛，其中旗标是 LLM 系统提示中的机密字符串。该比赛分为两个阶段，第一阶段是团队开发防御措施以防止模型泄露机密信息，第二阶段是团队挑战提取其他团队提出的防御措施中隐藏的机密信息。本报告总结了比赛的主要见解，发现所有防御措施至少被绕过一次，凸显了设计成功防御措施的难度以及进一步研究保护 LLM 系统的必要性。为了促进未来在这个方向的研究，我们编制了一个包含超过 137k 个多轮次攻击对话的数据集，并开放源代码平台。
Jun, 2024
评估网络安全 Capture-The-Flag（CTF）练习中使用大型语言模型（LLMs）的能力，并探讨它对课堂教学、CTF 挑战的影响以及相关的学术诚信问题。
Aug, 2023
通过使用大型语言模型，将调查人员的专业见解转化为可量化的可操作要素，以提高模型性能，并展示了该方法在风险评估和决策准确性方面的显著改进。
May, 2024
COAT utilizes large language models to extract potential causal factors from unstructured data and assists in uncovering underlying causal systems.
Feb, 2024
通过挖掘 StackOverflow 帖子中的实际自然语言到代码任务来创建一个数据集，该论文提出了一种以聚类选择为基础的提示技术来确定在 LLMs 提示中包含多少数据以及选择哪些数据，并通过实验表明 LLM 的性能确实对提示中所传递的数据量敏感，对于输入表中存在大量语法变化的任务，聚类选择技术优于随机选择基准模型。
Feb, 2024
本研究探讨使用大型语言模型（LLMs）支持数据驱动文章创作的可行性和感知价值，设计了一个原型系统 DataTales，通过使用 LLMs 生成与给定图表相关的文本叙述，并通过与 11 名专业人士进行定性研究评估了该概念，从中提炼了 LLMs 作为有价值的数据驱动文章创作助手的优点和机会。
Aug, 2023
本文介绍了一种基于大型语言模型的上下文学习方法，通过 GPT-3.5 和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。
Oct, 2023
使用大型语言模型通过生成用户意图分类法来分析网页日志数据中的用户意图，以人为验证确保分类质量，并实现了一个可扩展和适应性强的方法，从搜索和聊天日志中发现用户意图的新见解。
Sep, 2023
本文提出了一种结合基于知识的 LLMs 因果分析和数据驱动因果结构学习的新框架，以构建因果结构学习的新范式，并介绍了一套广泛的提示组，以从给定变量中提取因果图，并评估 LLM 先前因果对从数据中恢复因果结构的影响
Jun, 2023
本文提出了一种利用大型语言模型和提示策略自动提取文档中的关键维度，并将其用于丰富数据集描述的方法。通过此方法，可以创建机器可读的文档，改善数据集的可发现性，评估其符合当前的 AI 法规，并改善对其训练的 ML 模型的整体质量。
Apr, 2024