通过降采样、明确筛选稀有词以及使用基于困惑度的对比筛选等简单的策略，结合生产语音引擎，利用语言模型融合技术，相对于使用原始语料训练出的语言模型，使智能语音助手能够更好地辨别听众说出的稀有词而不影响总体识别准确率，并在实时语音搜索流量中得到了有利的侧面对比评估结果。

Mar, 2022

通过两个反向翻译模型计算每个句子对于嘈杂平行语料库的交叉熵分数，对分歧的交叉熵进行惩罚并按两个模型的交叉熵平均值加权。按这些分数排序或分阈值处理可得到更好的平行数据子集，该方法在去噪过程中实现了更高 BLEU 得分，并在 WMT2018 共享任务中获得了最高排名得分。

Sep, 2018

语言模型可以通过适应原始文本学习到复杂的语言理解技能。我们在本文中提出了一种称为条件微调的简单改进方法，它在进行语言建模时进行了上下文的条件限制。我们证明一个上下文可以 “解释掉” 某些语料库统计信息并使模型避免学习它们。通过这种方式，条件微调实现了对语料库的选择性学习，学习了对下游任务有用的知识，同时避免学习无用的语料库统计信息，如主题偏差。这种选择性学习效果导致了更少的遗忘和更好的稳定可塑性权衡，在域微调中潜在受益于与语言模型的终身学习。

Jun, 2024

本文提出了 coCondenser 方法，将 Condenser 预训练架构与无监督语料级对比损失相结合，减轻了密集检索器对大规模训练数据和数据工程的依赖，并通过实验表明，该方法具有与 RocketQA 相当的性能。

Aug, 2021

使用过滤语料库训练的方法，本文研究了语言模型对于通过间接证据进行语言普适性推理的能力，并将该方法应用于 LSTM 和 Transformer 语言模型，结果显示它们对于语言普适性推理具有相同且出乎意料的良好表现。

May, 2024

提出一种从网页规模数据集中识别和过滤有害文本的方法，使用预训练语言模型计算特定文档条件下研究员编写的触发词组的对数似然，并根据该结果识别和过滤数据集中的文档，证明在过滤后的数据集上训练的语言模型产生有害文本的倾向更低，性能与未过滤基线相比略有降低，最后探讨了此方法的推广前景及其对语言模型值域的对齐性方面的作用。

Aug, 2021

本篇研究拟提高 NLP 中模型微调的效率，设计了一个过滤训练用例的算法，分为三个步骤，可以将训练用例数量降低五倍，同时并未出现明显的性能下降。

Jul, 2022

提出了 FILCO 方法，通过词汇和信息论方法识别有用的上下文，并训练上下文过滤模型以改善生成模型的质量，从而在提取式问答、复杂多跳和长篇问答、事实验证和对话生成任务上优于现有方法。

Nov, 2023

使用无标签开放数据进行预精调预训练语言模型以最小化领域特定数据需求，并在达到预期性能水平的同时选择数据以将预训练分布推向目标分布的优化方法，展示了该方法在各种任务中的优越性和快速性，为经济高效的微调奠定了基础。

May, 2024

提出了一种用于大型语言模型预训练的不可约课程算法，通过模拟训练轨迹中的样本损失，以提高学习性，实验证明在各个领域中都能提高验证困惑度，并且降低网络的尖锐度，在 MMLU 基准上表现出更好的 5-shot 准确度。

Oct, 2023