May, 2023

LM-Switch: 词向量空间轻量级语言模型调节

PDF
TL;DR本文介绍了一种理论上自洽、轻量、简单的 LM-Switch 语言模型调节方法，其通过在线性变换词嵌入空间来实现语言模型的高效适应，该方法只需要与基线相比不到 1% 的参数，且与基准 LM 相比，只需要很少的额外时间开销即可学习语言模型。
language modelslm-switchfine-tuninggenerative language modelword embeddings
发现论文，激发创造
  • 利用语言模型进行机器翻译的上下文代码切换

    通过对比多个 LLM 模型，在机器翻译任务中，我们发现相对较简单的模型性能优于多语言大型语言模型，表明多语言大型语言模型在上下文代码切换方面的有效性受到训练方法的限制。与之相反，当相对较小的模型在定制的数据集上进行训练和微调时，可能会产生更好的结果。

    Dec, 2023

  • ProSwitch: 知识引导的语言模型微调，生成专业和非专业风格的文本

    本研究介绍了一种名为 ProSwitch 的新型方法，通过知识引导的指导调优，使语言模型能够在专业和非专业响应之间切换，从而提供了一种解决文本专业性问题的能力。与通用和专用语言模型的比较分析显示，我们的方法在专业和非专业文本生成之间的切换方面优于基准模型。

    Mar, 2024

  • 神经对话系统中的条件生成和快照学习

    本文研究了各种模型架构，不同的信息表示和聚合方法以及快照学习法在端到端神经对话系统框架中的应用，结果表明：竞争发生在条件向量和语言模型之间，不同的体系结构提供了不同的权衡，而条件向量的可辨别力和透明度对于提供模型可解释性和更好的性能至关重要。快照学习导致了一致的性能改进，无论使用哪种体系结构。

    Jun, 2016

  • SwitchGPT：适用于非文本输出的大型语言模型调整

    通过将大型语言模型转化为多模态模型，能够在无需复杂预训练的情况下，方便地为非文本响应提供高度灵活性的多模态方案。

    Sep, 2023

  • 多语言大型语言模型还不能切换语言

    本文通过大量实证研究探索了多语言大型语言模型在涉及语种切换的情况下情感分析、机器翻译和单词级别语言识别等任务的表现。研究显示，虽然这些模型在使用零 / 少量提示时在某些任务中表现出色，但与较小的微调模型相比，它们的性能仍然有所不适。因此，研究者认为未来需要进一步研究来完全弥合这一差距。

    May, 2023

  • 混码探针展示预训练模型如何在混码文本上泛化

    本研究通过对预训练语言模型处理混合语言文本的能力、模型捕捉混合语言文本的结构信息的变化性以及语义信息表达的一致性的研究，揭示了预训练语言模型在泛化到混合语言文本上的有效性，从而为这些模型在处理混合语言资源方面的能力提供了洞察。

    Mar, 2024

  • 使用神经合成数据的混合语言模型来处理句子间的平行语言切换

    为了解决训练混合语言模型的困难，本研究提出了一种基于序列 - 序列模型及 copy 机制的新型训练方法，通过有限的混合语言数据和单语数据的并行翻译生成需要的混合语言数据，且无需对齐或分析，实现了良好的表现，并显著提高了末端自动语音识别。

    Sep, 2019

  • 大规模语言模型的鲁棒可扩展模型编辑

    利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

    Mar, 2024

  • ME-Switch: 大型语言模型的内存高效专家切换框架

    ME-Switch 是一种用于 LLM 提供的高效内存专家切换框架，通过混合精度量化，选择性地对非显著输入通道进行极低位量化，同时保持显著通道完整，从而显著减少存储需求并保持性能；此外，我们还开发了一种路由方法，通过将模型选择问题转化为领域分类问题，高效地将用户查询转发到最合适的专家。广泛的实验证明 ME-Switch 在内存效率和路由性能方面具有良好的表现。

    Jun, 2024

  • 掩码语言模型所学习条件句的不一致性

    此篇研究发现遮蔽语言模型中双向条件的不一致性，尤其在 T5 和 BERT 模型的二元模型中表现得十分显著。这些不一致性可能影响基于 BERT 模式的 MLMs 的序列采样研究，同时也意味着具有相似功能的 T5 式 MLMs 会基于不同遮蔽数量产生差异。

    Dec, 2022