specialized models | BriefGPT

关键词specialized models

搜索结果 - 7

通过融合高度专业化的语言模型，同时掌握文本、代码和数学
我们提出了一种融合不同领域模型的框架，UltraFuser，通过引入令牌级别的门控机制以及两阶段训练策略，以高效稳定的方式训练模型，并构建了一个具有广泛话题覆盖的高质量训练数据集，UltraChat 2，在文本、代码和数学领域展现出高水平的
PDF4 months ago
大规模效率：探究微型语言模型在临床任务中的性能
对不同规模的模型以及临床决策任务的适用性进行研究，揭示大型语言模型的效果与 Parameter Efficient Fine-tuning 方法的关系，发现 LoRA 方法在各项任务和模型规模下都能保持较高的性能，专用模型在速度和训练成本上
PDF5 months ago
混合提示专家用于可推广和可解释的问答
该研究提出采用多专家模型集成的方式，使用不同的预测方法来解决传统单一模型难以泛化的问题，以在回答来自各种领域的问题时更好地表现。
PDFa year ago
我们是否还需要临床语言模型？
通过实验研究表明相对较小的专业临床文本语言模型可在解析和理解电子健康记录方面显著优于大规模的综合性语言模型并且通过进行临床标记的预训练还可以实现更小、更高效的专业化临床模型。
PDFa year ago
从头开始预训练变形金刚模型，用于信息检索的实验研究
本文研究预训练语言模型（PLM）对信息检索有效性的影响，挑战了当前假设 PLM 应该在足够大的基础集合上进行训练的想法，并表明从感兴趣的集合开始预训练与当前方法相比具有令人惊讶的竞争力。作者对一些任务进行了性能基准测试，发现模型预训练只在目
PDFa year ago
序列到序列混合模型用于多样化机器翻译
研究开发了一种新的序列混合模型，通过采用一组专业翻译模型而非单个模型来提高翻译的多样性和质量，并在四种语言对上进行了实验。
PDF6 years ago
会话搜索中的词汇查询建模
本文通过分析 TREC 会话查询日志，比较不同的词汇匹配方法以用于会话查询，并研究了在会话查询设定下词汇查询模型的可行性。作者指出，基于词频加权的朴素方法和专门的会话模型具有相当的性能表现。同时，还提出了词汇查询建模在会话搜索中的潜力和限制
PDF8 years ago