HuggingFace 社区中深度学习模型重用的挑战、利益与趋势
本文是关于使用预训练模型的实践和挑战，通过对 Hugging Face 生态系统中从业者的访谈和系统化的测量，确定了模型重用的实践和决策制定过程，并提出了模型重用的有用属性和挑战，以及对深度学习生态系统自动化地测量有用属性和潜在攻击的未来方向进行了展望。
Mar, 2023
在本研究中，我们首次对预训练模型（PTM）的命名规范和相关的命名缺陷进行了研究，通过开发新的自动命名评估技术和算法，我们揭示了 PTM 领域中的命名规范，并将其作为研究与实践关系的信号；我们展望未来的工作是通过利用 PTM 的元特征来支持模型搜索和重用的经验研究。
Oct, 2023
我们通过系统文献综述和定量分析验证了关于 Pre-Trained Model （PTM）的重复使用的定性研究结论，证实 PTM 具有比传统软件更高的更新速度，并且文档质量与 PTM 的受欢迎程度存在强相关性。
Jun, 2024
本文综述了预训练大型多模态模型的背景、任务定义、挑战、优势以及验证方式，并重点讨论了数据、目标、网络结构、知识增强等方面。此外，文章还给出了模型参数和结果的可视化和分析，并指出了未来的可能研究方向。
Feb, 2023
本文提出了一种新的模型中心的利用范式，该范式既考虑了模型的性能，又避免了计算负担和统计过拟合问题。该方法使用证据最大化程序对预训练模型提取的特征进行评估并排名所有预训练模型，然后利用贝叶斯程序进行调优。该过程不仅适用于同构预训练模型的调优，而且还适用于异构预训练模型的调优。
Oct, 2021
当面临领域特定问题时，大语言模型（LLMs）可能会遇到问题，如知识遗忘、知识重复、知识幻觉以及知识毒性，这些问题突显了 LLMs 的训练数据和算法设计的困扰。为了解决这些问题，建议对训练数据进行多样化，微调模型，提高透明度和可解释性，并引入伦理和公平性培训。未来的技术趋势可能会倾向于迭代方法学、多模态学习、模型个性化定制以及实时学习和反馈机制。最重要的是，未来的 LLMs 应确保在为人类服务时优先考虑公平、透明和伦理，确保它们持有高的道义和道德标准。
Oct, 2023
神经机器翻译（NMT）的进化受到六个核心挑战的显著影响，本研究重新审视这些挑战，提供有关高级大型语言模型（LLMs）背景下其持续相关性的见解：领域不匹配、平行数据量、罕见词预测、长句翻译、注意力模型作为词对齐以及次优束搜索，我们的实证发现表明 LLMs 在主要语言的预训练阶段有效减少对平行数据的依赖，LLM 基于的翻译系统显著提高了包含大约 80 个单词的长句翻译，并且可翻译长度达 512 个单词的文档。然而，尽管取得了显著改进，领域不匹配和罕见词预测的挑战仍然存在。虽然与 NMT 特定相关的词对齐和束搜索的挑战可能不适用于 LLMs，但我们确定了 LLMs 在翻译任务中面临三个新的挑战：推理效率、预训练阶段对低资源语言的翻译以及人对齐评估。数据集和模型在此 https URL 上发布。
Jan, 2024
本文主要介绍了预训练模型在自然语言处理领域的应用。首先简要介绍了语言表示学习及其研究进展，然后系统地从四个角度分类现有的预训练模型，接下来介绍如何将预训练模型的知识应用于下游任务，并提出了一些未来研究的潜在方向。该综述旨在成为一个操作性指南，帮助理解、使用和开发各种自然语言处理任务的预训练模型。
Mar, 2020