- 使分类器能够明确地与人类价值观保持一致
该研究介绍了一个基于明确人类价值观的价值对齐分类框架，并从大规模语言模型中提炼价值对齐知识以构建分类器，结果表明使用显式人类价值观分类器能提高人工智能的包容性和可解释性。
- EMNLPAlphaTuning: 大规模预训练语言模型的量化感知参数高效适应
本研究旨在将后训练量化与仅对定向任务的一些部分进行量化的精细调整相结合，以使模型更加快速且效率更高，我们提出了 AlphaTuning 控制模型的大小，通过二进制编码量化、调整二进制参数和针对下游任务进行唯一的倍数调整，证明我们的方法在 1 - Quark: 强化逆遗忘控制的文本生成
在大规模语言模型中，使用 Quark 算法可以优化奖励函数，通过对奖励信号的训练，学习什么是不需要的属性，从而减少生成文本中的毒性、负面情感和重复性，并且在这些方面优于其他基线和增强学习方法。
- IJCAI针对大语言模型微调的参数高效稀疏化
该研究提出了参数有效的稀疏训练 (PST) 方法，通过减少可训练参数的数量以使得稀疏训练资源有效并具有参数效益，从而解决了稀疏训练时计算开销和内存占用的问题，在 BERT，RoBERTa 和 GPT-2 等网络上得到了有效验证。
- 使用代码生成语言模型进行自编程人工智能
本文介绍了一种能够修改自身源代码的自编程人工智能系统，通过应用基于 AI 的代码生成，实现了对自身深度学习模型设计和学习动态的算法优化，证明了其能够成功地改进自身性能，并编程子模型来执行辅助任务。
- ACL大规模语言模型语境学习中预训练语料对效果的影响
研究了韩国中心型 GPT-3 模型 HyperCLOVA 中的上下文零样本和少样本学习，发现性能主要取决于语料库域源和预训练语料库的大小，可以通过组合多个语料库预先训练获得上下文学习能力.
- 通过少量训练示例提升互联网语言模型用于开放领域问答
该研究旨在通过使用大规模语言模型（LSLM）独特的少样本能力，借助于 Google 搜索返回的信息对语言模型进行少量提示，从而克服其与现实事实和最新信息相关性的挑战，从而使得模型在开放领域问题回答方面的性能优于相同或更大规模的封闭书模型，同 - 语言模型的伦理和社会风险
本文旨在帮助构建与大规模语言模型相关的风险场景。我们总结了 LMs 可能面临的各种风险，如歧视、错误信息、自动化等，并提出了应对方法和未来研究方向。
- EMNLPGPT3Mix：利用大规模语言模型进行文本增强
本文提出一种新的数据增广技术，利用大规模的语言模型从混合的样本中生成逼真的文本样本，并利用语言模型预测的软标签，从大规模语言模型中蒸馏知识并同时创建文本扰动，我们在多元化的分类任务上进行数据增广实验，并展示了该方法远远优于现有的文本增广方法 - 大型语言模型中持续存在的反穆斯林偏见
本文研究表明，目前最先进的语境化语言模型 GPT-3 存在对穆斯林的暴力偏见，我们对此进行了多方面的探讨和量化，并提出对抗性文本提示来缓解这种偏见。
- Pile: 一个包含多样文本的 800GB 语言建模数据集
本研究使用 825GB 的英文文本语料库，旨在训练大规模语言模型，通过 GPT-2 和 GPT-3 的预实验发现，这些模型在处理学术写作等特定组件上表现不佳，而在训练了语料库后在所有组件上都有了显著提高。同时，我们对数据进行了深入分析，提供 - ICLRMixKD：大规模语言模型高效蒸馏
提出了一种利用 Mixup 数据扩充技术的数据不可知蒸馏框架 MixKD，大幅度降低了一些实践性问题的影响，提升了大规模语言模型的泛化能力，实现了比标准 KD 培训更好的性能表现，能用于低资源平台上的应用。
- GeDi: 生成式判别器引导序列生成
本论文提出了一种名为 GeDi 的方法，通过引入更小的 LM 作为生成鉴别器以指导在大型 LM 上更安全和可控的生成。GeDi 计算每个标记的分类概率，以便于实现对生成的控制，并且可以使 GPT-2 在不影响语言质量的情况下显著降低毒性，同 - ACL预训练语言模型渐进式生成长文本
该论文提出了一种通过逐步完善领域特定的关键词，并在多个阶段逐步把它们转换为完整段落生成文本的简单而有效的方法，该方法利用了预先训练的大规模语言模型，在质量和样本效率方面显着优于仅仅在小语料库上微调的大型语言模型和其他规划 - 生成方法。