GIFT 是一种生成可解释化微调 Transformers 预训练模型的方法，在参数高效的情况下提供内置可解释性，通过选择 Transformer 模型的多头自注意力中的最终投影（线性）层进行 fine-tuning，提出了使用参数到聚类注意力来生成 fine-tuning 参数的超级 Transformer 方法，并在 VTAB 和 FGVC 基准测试中达到了显著更好的性能。

Dec, 2023

提出了一种预期最大增价网络（MADNet），用于建模具有缺失代表标签的多方对话，实现全连接图的生成并优化了生成应答的质量。

May, 2023

通过对大规模语言模型在任务导向的多方对话中捕捉能力的评估，本研究记录并转录了医院中患者、他们的陪伴者和社交机器人之间的 29 个多方对话，并对此语料库进行了多方目标跟踪和意图 - 插槽识别的注释。我们在零样本和少样本设置中比较了三种方法，即微调 T5，使用 LED 创建预训练任务以训练 DialogLM，并采用 GPT-3.5-turbo 的提示工程技术，以确定哪种方法可以用有限数据完成这一新任务。在少样本设置中，GPT-3.5-turbo 显著优于其他方法。当给出例子注释对话中 7% 的语料库时，“推理” 风格的提示是效果最好的方法。它正确注释了 62.32% 的目标跟踪多方对话和 69.57% 的意图 - 插槽识别多方对话。而 “故事” 风格的提示会增加模型的虚构成分，在安全关键环境中可能会有不利影响。我们得出结论，多方对话仍然对最先进的大规模语言模型构成挑战。

Aug, 2023

利用 ChatGPT 和 GPT-4 等生成型大型语言模型对多方对话进行评估与分析，揭示了利用生成型大型语言模型处理多方对话所面临的挑战以及可行的解决方案。

Oct, 2023

MPC-BERT 是一种预训练的神经模型，通过学习谁对谁说什么，结合几个自监督任务，在多方对话任务中表现出比以前的方法更好的性能。

Jun, 2021

提出了一种基于异构图神经网络的多方会话响应生成模型，通过建模话语和交互者的语义信息及设计不同类型的元关系来处理多方对话中的结构信息，实验证明其在 Ubuntu Internet Relay Chat（IRC）通道基准测试上优于其他基线模型。

Mar, 2022

该研究提出了一种通过对话上下文进行关系推理来指导神经响应生成的方法，并在多方对话中展示出优于基线模型的效果。

Mar, 2024

该论文提出了一种基于微调过程的知识感知语言模型框架，将领域知识通过关系图嵌入到预训练语言模型中并进行动态更新，取得了比其他知识增强模型更显著的机器阅读理解任务的性能改进。

Sep, 2021

本文旨在探索将 Parameter-Efficient Fine-Tuning (PEFT) 技术应用于基于图的任务，提出了一种名为 G-Adapter 的新型结构感知 PEFT 方法，并使用 Bregman Proximal Point 方法进一步缓解特征分布变化问题，研究结果表明，G-Adapter 相对于现有的 PEFT 方法，在 9 个基于图的基准数据集上获得了最先进的性能，并且相比于传统的方法提供了巨大的内存节省。

May, 2023

本文通过进一步研究 Masked Predictive Coding 的三个重要方面：预训练数据的发言风格，对流式模型的扩展和如何更好地将预训练阶段的知识转移，实验证明，在下游识别任务中，预训练数据与匹配的发言风格更有用，使用 APC 和 MPC 的统一培训目标在 HKUST 上训练的流式模型上提供了 8.46％的相对错误率降低，目标数据适应和逐层判别式培训的组合有助于 MPC 的知识转移，在 AISHELL 上相对基线实现了 3.99％的错误率降低。

May, 2020