利用大型语言模型注释进行社会科学中的有效下游统计推断：基于设计的半监督学习

Jun, 2023

利用大型语言模型注释进行社会科学中的有效下游统计推断：基于设计的半监督学习

Using Large Language Model Annotations for Valid Downstream Statistical Inference in Social Science: Design-Based Semi-Supervised Learning

PDF

Naoki Egami, Musashi Jacobs-Harukawa, Brandon M. Stewart, Hanying Wei

TL;DR该研究提出了一种名为 DSL 的算法，旨在使用从 LLMs 获得的输出进行下游统计分析，同时保证 CSS 研究所需要的统计特性，这种算法运用了双重鲁棒性流程将代理标签与少量的金标准标签相结合，从而保证有效的统计推断。

Abstract

In computational social science (CSS), researchers analyze documents to explain social and political phenomena. In most scenarios, CSS researchers first obtain labels for documents and then explain labels using interpretable regression analyses in the second step. The recent advancemen

computational social science large language models semi-supervised learning debiased machine learning downstream statistical analyses

发现论文，激发创造

自动注释中的知识蒸馏：由 LLM 生成的训练标签进行监督文本分类

使用生成的大型语言模型生成的标签对监督文本分类模型进行微调，与使用人工标注的标签相比表现相当，是一种快速、高效和经济有效的构建监督文本分类器的方法。

Jun, 2024

大型语言模型能否改变计算社会科学？

本研究探讨了利用大型语言模型 (Large Language Models，LLMs) 作为计算社会科学 (Computational Social Science，CSS) 工具的可行性。结果表明，LLMs 可以作为零 - shot 数据注释工具或是用于启动具有挑战性的生成任务，并可以极大地提高社会科学分析的效率和降低成本。

Apr, 2023

语言语义图引导的数据高效学习

提出了一种利用标签中的语义信息提高数据利用率的新方法，通过构建一种标志为自然语言描述的语义图来训练辅助图神经网络，以提取高层语义关系并指导主模型的训练，在图像、视频和音频模态下，应用该方法在迁移学习和半监督学习场景中展示了显著提高性能的多样性，并且深入分析还表明该方法加速了训练过程。

Nov, 2023

大语言模型辅助的因果结构学习

迭代式 LLM 监督 CSL（ILS-CSL）框架通过将基于 LLM 的因果推理与 CSL 相结合，并从 LLM 中获得反馈，从而改进了因果有向无环图（DAG）的学习，提供了更强效的因果发现方法，并在八个真实世界数据集上的综合评估中表现出优越的性能，展示了其推动因果发现领域进步的潜力。

Nov, 2023

利用大型语言模型进行临床自然语言处理中基于无知识弱监督的优化

使用弱监督和微调大型语言模型（LLM）的方法，在几乎没有领域知识的情况下，能够在性能上显著优于传统的有限的标准数据的监督方法，利用基于提示的方法，LLM 生成弱标记数据来训练下游的 BERT 模型，然后将弱监督模型进一步在少量的标准数据上进行微调，通过评估发现该方法优于 out-of-the-box PubMedBERT 4.7% 至 47.9% 的 F1 得分。

Jun, 2024

学习无标注数据推理：一种半监督学习方法用于强健的自然语言推理

本文提出了一种结合无标注数据的 NLI 半监督学习方法，其中使用了条件语言模型 BART 生成假设句子，以减少对人类注释的依赖，实验结果显示该方法能够成功地利用无标注数据并在低资源环境下显著提高四个 NLI 评测集的性能。

Nov, 2022

简单去偏置的安全半监督学习：不要害怕未标记的数据

提出一种去偏移的方法，适用于多数深度半监督学习方法，并提供了简单的理论保证和推广误差界限，以在各种情境中提供更好的模型校准，同时说明了流行的 SSL 方法的直觉解释。

Mar, 2022

大规模语言模型引导的文档选择

LLM 预训练模型通过精心选择文档，可以在仅使用部分 FLOPs 的情况下实现与完整训练相当的模型质量；通过使用提示的 LLM 作为文档评分器，我们将质量标签提取并应用于大规模的互联网抓取数据集，以自动筛除部分文档，从而更好地匹配性能，并通过在上下文中学习来提高标签模型的性能。

Jun, 2024

大型语言模型作为注释器：在最小成本下增强 NLP 模型的泛化能力

研究使用大型语言模型对输入进行注释以提高自然语言处理模型的泛化性，并提出一种基于模型预测得分差异的采样策略来重新训练模型，证明在分类和排名任务中取得了显著的精度提高。

Jun, 2023

提升大型语言模型的数据生成能力

本文提出了一种统一的数据创建流程，只需一个格式示例，适用于包括传统上问题较多的任务在内的广泛范围，通过实验证明使用指令跟随型大型语言模型创建的数据比使用人工标注的数据在分布外评估上表现更好（高达 17.5%），同时在分布内任务上保持可比较的性能，这些结果对于在现实世界中部署的自然语言处理系统的稳健性具有重要意义。

Oct, 2023