本文中，我们使用了零 shot 模型在 COLIEE 2022 的法律案例蕴含任务中进行了实验，并发现语言模型参数数量的增加可以提高 F1 分数，尤其是对于该任务。我们的 3B 零 shot 模型在 COLIEE 2021 测试集中表现优异，在 COLIEE 2022 比赛中也取得了最佳表现，其次是由 3B 模型本身和较小版本的模型组成的集成模型。此外，我们还演示了零 shot monoT5-3b 模型在生产中如何作为搜索引擎使用，包括用于法律文件。

May, 2022

该研究通过比较不同方法，调查了零样本方法在使用三种大型语言模型、两种具有大输入标记尺寸的模型和两种预训练的法律数据模型进行数据分类方面的表现。我们的主要数据集来自美国民事诉讼领域，包括法律案例摘要、具体问题、潜在答案和详细解释，这些都是从一本针对法律学生的书中获取的。通过这些实验，我们的发现展示了大型语言模型的零样本方法如何有效理解复杂数据，我们在实验中取得了最高的 F1 得分，达到了 64%。

Jun, 2024

该论文提出了元调谐（meta-tuning）方法，旨在直接针对零样本学习目标对预训练语言模型进行微调，应用于分类任务，并通过聚合 43 个现有的数据集和 441 个标签描述来构建元数据集。实验证明，相比基于自然语言推理的先前 SOTA 零样本学习系统以及同样大小的 QA 模型，元调整模型在新的任务上表现更好，同时我们认为，增加参数数量会进一步提升 AUC-ROC 分数。

Apr, 2021

通过对自然语言指令模板中的 60 个自然语言处理任务进行调整，我们将一个 137B 预训练语言模型调整为 FLAN 并在未看见的任务数据上进行评估，结果表明，通过指令调整，可以大大改善它在未看见任务上的性能并在 20 个任务上超越了 175B GPT-3 的零样本性能。

Sep, 2021

本文提出了一种参数高效的法律领域适应方法，该方法使用公共法律论坛的海量无监督法律数据进行法律预训练，成功地在各种法律任务上超过或匹配现有模型的低样本学习性能，同时只调整了约 0.1％的模型参数，达到与现有方法相当的校准效果。

Oct, 2022

本文讨论使用 MultiEURLEX 数据集进行零样本跨语言转移的法律主题分类，介绍了新版本的数据集和使用基于翻译的方法相对于之前最佳的跨语言预训练模型调参的方法的改进，同时提出了一种基于双语教师 - 学生的零样本转移方法。

Jun, 2022

本研究研究了预训练多语言语言模型在零样本跨语言模型传递中的应用，使用 prompt-tuning 进行多语言 NLU 任务（包括句子分类、序列标注和问题解答）中的跨语言评估，并与传统的微调方法进行了比较。结果表明，prompt-tuning 在跨数据集跨语言传递方面比微调表现更好，而且只需调整 0.1% 到 0.3% 的参数。此外，分析表明，prompt tuning 可以在决策边界对齐更好的下游任务上具有更好的跨语言可传递性。

Oct, 2022

使用有标记的源域数据进行监督预训练，来降低特定领域下游任务的样本复杂性，相结合的任务转移和领域适应来微调无标签的目标任务的预训练模型，并在 4 个领域的特定领域阅读理解任务中超越领域自适应预训练模型的零 - shot 表现。

Jun, 2022

本论文展示了在辅助支点语言中提供少量注释数据可以更好地选择用于零 - shot 跨语言迁移的 fine-tuned models，并提出一种基于机器学习的方法用于模型选择，该方法使用 fine-tuned 模型的内部表示来预测其跨语言能力。在广泛的实验中，我们发现这种方法比使用英文验证数据一直可以跨越二十五种语言（包括八种低资源语言）选择更好的模型，并且通常可以达到使用目标语言开发数据进行模型选择的结果

Oct, 2020

该研究提出了一种法律指令数据集（LawInstruct），通过领域特定的预训练和指令调整来改进法律任务处理性能，加快发展在法律领域中具备更强信息处理和决策能力的模型。

Apr, 2024