本文提出了一种基于在上下文学习的策略，通过选择少量有代表性的例子来进行标注，进而为新的自然语言任务创建数据集，并证明了此方法在不同场景下都具有良好的效果。

Sep, 2022

通过度量方法，我们的研究旨在最小化人工评估所需的注释数量，从而提高评估质量并减少时间和成本。我们发现，这种方法有效地降低了模棱两可的结果，对于未来大型语言模型评估具有重要意义。

Oct, 2023

本研究探讨了在社会科学中使用开放生成的大型语言模型（LLMs）进行注释任务的用途。研究强调了专有模型所面临的限制再现性和隐私问题，并主张采用可在独立设备上运行的开放（源）模型。提供了推文情感分析和童年志向性散文中休闲活动的识别两个注释任务的示例。研究评估了不同的提示策略和模型（neural-chat-7b-v3-2，Starling-LM-7B-alpha，openchat_3.5，zephyr-7b-alpha和zephyr-7b-beta）的性能。结果表明需要仔细验证和定制提示工程。研究强调了开放模型在数据隐私和再现性方面的优势。

Dec, 2023

通过自动调整输入提示，提高ChatGPT对文本分类的性能

Jan, 2024

基于模拟优化，提出了一个两阶段框架以实现生成语言模型的提示选择，该框架能够在评估和选择阶段中构建代表提示的中等维度向量的得分模型，并证明了该框架中的顺序评估过程的一致性。数值实验证明了此框架的有效性，为实施提供了实际指导。

Apr, 2024

手动注释计算社会科学任务的数据成本高昂、耗时且情感压力大。最近的研究表明，零-shot设置下，语言模型可以执行此类注释任务，但我们对于提示设计如何影响语言模型的遵从和准确性了解甚少。我们进行了大规模的多提示实验，以测试模型选择（ChatGPT、PaLM2和Falcon7b）和提示设计特征（定义包含、输出类型、解释和提示长度）对LLM生成注释的遵从和准确性的影响，针对四个计算社会科学任务（毒性、情感、谣言态度和新闻框架）。我们的结果表明，LLM的遵从和准确性高度依赖于提示。例如，提示使用数值得分而不是标签会降低所有LLM的遵从和准确性。整体而言，最佳的提示设置取决于任务，微小的提示更改会导致生成标签分布上的巨大变化。通过显示提示设计对LLM生成注释的质量和分布有显著影响，本研究作为研究人员和从业者的警示和实践指南。

Jun, 2024

我们提出了一种诊断提示稳定性的通用框架，通过采用传统的内部和外部编码者可靠性评分方法，并提供了一个名为PromptStability的Python包来估计提示稳定性得分（PSS）。通过使用六个不同的数据集和十二个结果，我们对超过150,000行的数据进行分类以：a）诊断提示稳定性较低的情况；和b）展示该包的功能。最后，我们提供了应用研究人员的最佳实践建议。

Jul, 2024

传统的数据标注过程通常劳动密集、耗时且容易受到人为偏差的影响。本研究提出了一种基于理由的协作少样本提示新方法，以提高大型语言模型（LLMs）在文本标注中的效率和一致性。结果表明，该方法在复杂标注任务中优于传统少样本技术，为解决文本标注任务提供了有价值的见解和强有力的框架。

Sep, 2024

本研究针对现有生成大型语言模型（LLMs）在社交媒体研究中的自动文本注释的局限性进行探讨，提出了一种以人为中心的框架来评估AI工具的责任性。通过使用GPT-4在多个受保护数据集上进行注释任务，发现尽管生成的注释整体质量较高，但在任务执行过程中存在显著的性能差异，强调了依赖人类生成的验证标签对自动注释进行负责评估的重要性。

Sep, 2024

本研究针对自动文本标注中人类与人工智能模型之间的协作问题，提出了一种以人为中心的框架进行评估。通过使用GPT-4在多个受保护数据集上复制27项标注任务，研究发现尽管LLM的标注质量普遍较高，但在任务间的表现却存在显著差异，这强调了人类验证标签在自动标注评估中的重要性。

Sep, 2024