介绍了 HyperCLOVA X，这是一种针对韩语和文化进行优化的大型语言模型，具有在英语、数学和编码方面的竞争能力。该模型经过平衡的韩语、英语和代码数据训练，并通过高质量的人工标注数据进行指导，遵守严格的安全准则，体现了我们对负责任人工智能的承诺。在韩语和英语中，HyperCLOVA X 在各种基准测试中展现出强大的推理能力，以及对语言和文化细微差异的深刻理解。分析了其固有的双语性质及其在多语言环境下的扩展，突显了该模型的跨语言熟练度和强大的泛化能力，包括多种语言对之间的机器翻译和跨语言推理任务。我们相信，HyperCLOVA X 可以为各区域或国家开发其主权语言模型提供有益的指导。

Apr, 2024

本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法，消融研究和定性分析提供了更多的见解。

Apr, 2021

该研究通过将文本输入转换为包含任务描述的填空问题，并结合梯度优化和利用未标记数据，成功地创造了小型语言模型，达到了与 GPT-3 相似的性能，为小型语言模型的成功应用提供了关键因素。

Sep, 2020

研究了韩国中心型 GPT-3 模型 HyperCLOVA 中的上下文零样本和少样本学习，发现性能主要取决于语料库域源和预训练语料库的大小，可以通过组合多个语料库预先训练获得上下文学习能力.

Apr, 2022

通过基于生成型大型语言模型（LLM）的通用文本到文本学习架构和提示调优，解决主要的临床自然语言处理（NLP）任务，并提供了最新的性能。

Dec, 2023

本文研究了大规模生成语言模型在多语言语料库上的跨语言泛化能力，实验结果表明，通过多语言提示方案，在许多任务中，模型可以在少量示例和无样本学习中完成良好的表现。

Dec, 2021

本文从贝叶斯的角度出发，将大型语言模型视作主题模型，提出了一种从标注数据中选择最佳示范的算法，并在实际数据集中证明相对于随机选择基线，平均有 12.5% 的显著改进。研究表明，大型语言模型从示范中隐式地推断出潜在的概念变量。

Jan, 2023

在大规模预训练语言模型上进行 fine-tuning 可以显著提高模型在 NLP 任务中的任务值线表现，同时还证明了 scaling up 语言模型可以大大改善任务独立的 few-shot learning 表现，并探讨了 GPT-3 模型优势和局限性。

May, 2020

本文探讨如何在较小模型的规模下，通过几何引导的自监督学习方法进行任务感知的自监督数据调整，实现与大型语言模型相当的零样本能力。Go-tuning 方法的实验表明 T5-small（80M）能够达到 T5-XL（3B）的竞争零样本结果，并开发了一个多任务模型 mgo-T5（250M），达到九个数据集的 OPT（175B）的平均性能。

Dec, 2022

通过利用开源项目中的大规模指令遵循数据集，我们采用参数高效调整方法对两个开放许可的大语言模型 (Bloomz 和 GPTJ) 进行了调整，使其在越南语上取得了显著的性能提升，并通过自动评分机制证明我们的方法相对于原始模型在评估任务上的效果提升了约 20-30%。

Sep, 2023