不是所有的都适合：个性化词汇难度模型的案例
该研究探讨了个性化调整和零 - shot 推理方法在主观任务上的应用，结果表明，与非个性化模型相比，个性化调整能够提高模型的推理能力，并在不同的大语言模型架构上实现了对情感识别和仇恨言论检测等数据集的一致性性能提升，这些发现凸显了个性化对于增强大语言模型在主观文本感知任务中的重要性。
Feb, 2024
本论文提出了一种新颖的半参数语言模型结构，Knowledge-in-Context (KiC)，通过一个知识丰富的外部存储器来增强参数化文本至文本语言模型，并且采用了一种实例自适应的知识选择器来进行训练，实验结果表明，KiC 比大规模的全参数语言模型在 40 多项不同任务上表现更出色。
Oct, 2022
本文介绍了一种新型的深层上下文词表示方法，既能够建模单词用法的复杂特征 (如句法和语义)，又能够建模这些用法在语言上下文中的变化 (即建模多义性)，这些表示可以轻松地添加到现有模型中，并且可以显著提高 NLP 问题的性能。
Feb, 2018
本篇论文基于主题模型，利用变分推断的方法，提出了一种通用的神经网络框架，允许灵活地结合元数据，通过迅速探索备选模型等方法，在保证困惑度、连贯性和稀疏性的情况下，取得了强大的性能。此外，通过对美国移民文章语料库的探索，展示了本框架的潜力。
May, 2017
本文提出了一种个性化大模型，它们是从传统大语言模型中提炼出来的，更适应于本地用户的个人信息，如教育背景和兴趣。通过将大语言模型分类为个人级别、专家级别和传统级别，本文介绍了不同级别模型的特点和应用。个人级别模型采用用户个人信息进行自适应，对用户输入进行加密以保护隐私。专家级别模型聚焦于特定领域知识的整合，如金融、IT 和艺术。传统模型则关注于普适性的知识发现和专家模型的升级。整个系统中，个人模型与用户直接进行交互，同时保留用户加密的个人信息。此外，这些模型需要足够小以在个人计算机或移动设备上运行，并能实时响应以提供更好的用户体验和高质量的结果。该提出的个性化大模型可应用于诸如语言和视觉任务等广泛的应用领域。
Sep, 2023
该研究分析了自然语言推理、释义检测和阅读理解中词汇重叠启发式的使用，发现更大的模型较不容易采用词汇重叠启发式，并且更长的训练会导致模型放弃使用词汇重叠启发式，最后提供证据表明模型大小差异的根源在于预训练模型。
Oct, 2022
本文调查了一系列流行模型中预训练表示所编码的个人信息的程度，并展示了模型越复杂和数据越多，可能出现数据泄露的正相关性。作者对一种大型多语言数据集上的情感分析特征进行了广泛覆盖的比较和评估，结果表明，隐私保护方法的使用非常重要。作者还发现高度隐私保护的技术（如差分隐私）可能会对模型效用产生严重影响，可以使用混合或度量隐私方法来解决。
Apr, 2022
本文提出一个可视化分析工具 DeepNLPVis，采用基于互信息的量化方法对深度自然语言处理模型进行统一理解，通过多层次的可视化（语料库级别、样本级别和单词级别）支持从整体到个别的分析，通过两个分类任务的案例研究和模型比较，证明了 DeepNLPVis 能够帮助用户识别潜在问题并做出知情决策。
Jun, 2022
当面临领域特定问题时，大语言模型（LLMs）可能会遇到问题，如知识遗忘、知识重复、知识幻觉以及知识毒性，这些问题突显了 LLMs 的训练数据和算法设计的困扰。为了解决这些问题，建议对训练数据进行多样化，微调模型，提高透明度和可解释性，并引入伦理和公平性培训。未来的技术趋势可能会倾向于迭代方法学、多模态学习、模型个性化定制以及实时学习和反馈机制。最重要的是，未来的 LLMs 应确保在为人类服务时优先考虑公平、透明和伦理，确保它们持有高的道义和道德标准。
Oct, 2023