pretraining methods | BriefGPT

关键词pretraining methods

搜索结果 - 6

异质超图神经网络的自监督预训练
我们提出了一个新颖的自监督预训练框架，用于异构超图的自监督预训练。该方法能够在数据中自主捕捉实体之间的高阶关系，并在超图中使用信息表示来同时学习实体的局部和全局表示。实验结果表明，我们的框架能够提高各种超图模型在不同下游任务上的性能。
PDF8 months ago
重新思考 DNA 序列的 BERT 类预训练方法
通过对 DNA 序列的新叠词标记方法和 RandomMask 技术进行预训练，提高了生命科学领域的下游任务性能。
PDF9 months ago
ACLPatton: 在文本丰富的网络上进行语言模型预训练
本研究提出了一种针对文本丰富的网络的预训练模型，使用网络上下文引入文档间关系依赖来捕获文本属性和网络结构之间的内在依赖关系，实验表明该模型在学术和电商领域的四个下游任务中表现显著优于基线模型。
PDFa year ago
联合自监督和弱监督预训练策略，从放射学和组织学标签中学习诊断肝硬化
利用迁移学习和预训练方法提高肝硬化病理诊断的精度。
PDFa year ago
新闻摘要的大型语言模型基准测试
通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估，我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键，并通过从自由职业作家收集的高质量摘要进行人类评估，得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。
PDFa year ago
ICML无监督预训练鼓励适度稀疏
本文解释了预训练神经网络成功的原因，通过实验观察到预训练可以在神经网络中引入隐藏单元活性的稀疏性，从而得到更好的预测性能。
PDF11 years ago