垃圾进,垃圾出:使用大型语言模型进行零样本犯罪检测
通过我们的研究,我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性,同时我们还探讨了话题转变对零样本检测方法的影响,揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。
Dec, 2023
大型语言模型的广泛发展使得检测机器生成的文本变得前所未有的重要。本研究通过收集大范围的语言模型生成数据,训练神经检测器并测试其在未经训练的生成器输出上的性能,发现中等规模语言模型训练的检测器能够零样本推广到更大的版本。作为一个具体的应用,我们证明了可以在中等规模模型的训练数据集合上构建强大的检测器。
Oct, 2023
本文研究了使用自然语言实现零样本模型对新任务的自适应性,通过社交评论平台的文本和元数据作为简单的预训练任务,并提供分类任务的自然语言描述作为输入训练语言模型,以生成正确答案的方式进行自然语言的模型推广,克服了多任务分类的缺点,在六个基准文本分类数据集上训练出具有零样本性能的生成性语言模型,结果显示语言可以作为任务自适应的简单而强大的描述符,这为文本问题的新元学习策略指明了方向。
Dec, 2019
本文提出了一种新颖的伪监督方法,用于零样本学习自然语言视频定位模型,并在 Charades-STA 和 ActivityNet-Captions 数据集上实验验证该方法相较于其他方法性能有明显提升。
Aug, 2021
提出一种基于语法错误修正分数(GECScore)计算的黑盒零样本检测方法,通过区分人工编写和大型语言模型生成的文本,在零样本和有监督方法方面显著优于现有技术,获得平均 AUROC 为 98.7%的结果,并对近义词和对抗扰动攻击具有很强的鲁棒性。
May, 2024
本文使用大型语言模型进行预训练生成知识图谱到文本的零样本生成,虽然表现接近最先进水平,但不同情况下有不同结果,并发现语言模型已有的知识与输出文本的质量有显著关联。
Jul, 2023
本研究探讨了利用大型语言模型的零样本能力来进行视频游戏中漏洞检测的可能性,并将漏洞检测问题表述为问答任务。我们介绍了 GameBugDescriptions 基准数据集,展示了六个模型在该数据集上的表现。结果表明,使用适当的提示技术,我们可以在某些游戏中实现高达 78.94%的准确度,为视频游戏漏洞检测提供了积极的前景。
Oct, 2022
提出了一种对 LLMs 生成的代码进行训练无关的检测方法,以减少与它们的无差别使用相关的风险。通过对现有的基于训练或零样本的文本检测方法进行研究,我们发现这些方法对代码的检测不够有效,可能是由于代码结构中所具有的独特统计特性。本研究通过修改之前的零样本文本检测方法,利用代理的白盒模型来估计最右侧标记的概率,从而能够识别由语言模型生成的代码片段。通过对 CodeContest 和 APPS 数据集的 Python 代码进行大量实验,我们的方法在 text-davinci-003、GPT-3.5 和 GPT-4 模型上取得了最新的检测结果,并且对修订攻击具有鲁棒性,并且对 Java 代码具有很好的通用性。同时,我们还发现较小的代码语言模型 PolyCoder-160M 作为通用代码检测器的表现优于十亿级别的对应模型。代码可在此 https URL Xianjun-Yang/Code_detection.git 获取。
Oct, 2023
使用多模态大语言模型 (Multimodal LLMs) 的简单且有效方法实现了零样本图像分类,通过生成全面的文本表示从而在交叉模态嵌入空间中生成固定维度特征,在线性分类器上融合这些特征以进行分类,取得了令人瞩目的效果。
May, 2024
本研究提出了一种自适应框架,通过有效结合冻结的视觉语言模型和现成大型语言模型,在没有使用任何附加训练或微调的情况下,开展视频概念推理任务。在各种视频动作数据集上的实验结果表明,与传统的视觉语言模型相比,该框架在开放式和闭合式情景下在目标推理方面表现出更高的性能。值得注意的是,所提出的框架在行动识别任务中能够有效推广,凸显了它在推动基于视频的零样本理解方面的多样性和潜在贡献。
Jan, 2024