在 LLMs 时代,人工标注数据的重要性
本文提出了一种统一的数据创建流程,只需一个格式示例,适用于包括传统上问题较多的任务在内的广泛范围,通过实验证明使用指令跟随型大型语言模型创建的数据比使用人工标注的数据在分布外评估上表现更好(高达 17.5%),同时在分布内任务上保持可比较的性能,这些结果对于在现实世界中部署的自然语言处理系统的稳健性具有重要意义。
Oct, 2023
这篇文章着重探讨了大型语言模型对人类价值、劳动力市场的影响以及需不需要对它们进行监管等问题,同时,它们也能更好地人性化技术,并且可以克服当前技术所面临的瓶颈问题。因此,我们应该更广泛地了解和推广 LLMs 以及简化 LLMs 使用的工具和方法。
May, 2023
通过文献综述和第一手实验,本文研究了大型语言模型(LLMs)的潜力。尽管 LLMs 具有成本效益和高效性等优点,但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用 LLMs 进行定性分析的实验提供了新的见解,强调了成功和限制。此外,本文还讨论了缓解挑战的策略,如优化提示技术和利用人类专业知识。我们的工作旨在将 LLMs 有机地融入人机交互数据工作,并积极促进其负责任的应用,以此回应关于 LLMs 在研究中负责任应用的持续对话。
Apr, 2024
基于大型语言模型的系统,在用户隐私方面存在问题,需要更多关注人类隐私问题的研究,包括设计范例对用户的行为披露、用户心智模型和隐私控制偏好的影响,以及赋予终端用户对个人数据的拥有权的工具设计,在此基础上构建可用、高效、具有隐私友好性质的系统。本文旨在启动关于人类隐私问题研究的讨论,为基于大型语言模型的系统中的隐私问题制定议程。
Feb, 2024
我们评估了多种模型,包括传统机器学习模型、预训练语言模型和大型语言模型,比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明,使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果,并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。
Mar, 2024
综述了大型语言模型对齐技术的全面概述,包括数据收集、训练方法和模型评估,并提供了未来研究方向的启示,是了解和推进适应人类任务和期望的 LLM 对齐的宝贵资源。
Jul, 2023
本文介绍了使用大型语言模型(LLM)代替人类评估来评估人工智能生成的文本的潜力,探索了 LLM 对两个自然语言处理任务的开放性故事生成和对抗性攻击的评估结果,并发现 LLM 评估结果与人类专家的评估结果保持一致。
May, 2023
使用大型语言模型(LLMs)结合人类专家的方法,快速生成医疗文本注释的地面真实标签,从而减少人工注释负担并保持高准确性,为医疗健康领域的定制自然语言处理(NLP)解决方案提供了潜力。
Dec, 2023