- ICML研究视觉强化学习中的预训练目标与泛化能力
通过在 50 个 Atari 游戏的 10 百万次转换上对 ResNet-50 模型进行预训练，并在各种环境分布下进行评估的 Atari 预训练基准（Atari-PB）实验证明，注重学习任务无关特征（如识别物体和理解时间动态）的预训练目标可 - ProG：图灵提示学习基准
人工智能在图上的通用智能在各种应用中取得了显著的进展，然而传统的 “预训练和微调” 范式在复杂和小样本场景下存在低效和负迁移问题。图提示学习作为一种有希望的替代方案出现，利用轻量级提示来操作数据，通过重新构思下游任务来填补任务间隙。然而，仍 - UniCorn: 多视图分子表示学习的统一对比学习方法
通过对比学习，我们提出了一种名为 UniCorn 的新型预训练框架，具备对分子进行三个不同层次的视图描绘，从而实现了完整且通用的分子表示，并在量子、物理化学和生物学任务中取得了最佳性能，验证了 UniCorn 的普适性和有效性。
- MIM4D：多视角视频遮蔽建模的自动驾驶表示学习
从大规模多视角视频数据中学习强大且可扩展的视觉表征仍然是计算机视觉和自动驾驶领域的一项挑战。我们提出了 MIM4D，一种基于双重遮罩图像建模（MIM）的新的预训练范例，它通过训练遮罩的多视角视频输入来利用空间和时间关系，从而构建伪 3D 特 - 改进时间序列表示学习的双向生成预训练
通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT 在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT 在预测神经功能、疾病诊断和生理迹象方面表现出优 - 可调的分子表示统一预训练策略
我们提出了一种新的大规模分子模型，名为 AdaMR，采用可调节的分子编码器，学习分子的原子级和亚结构级表示，并通过分子规范化任务进行预训练，从而在多个下游任务中改善效果，如模型属性预测和分子生成。
- AAAI通过点特征增强掩膜自编码器实现紧凑 3D 表示
为了学习紧凑的 3D 表示，我们提出了一个简单而有效的 Point Feature Enhancement Masked Autoencoders (Point-FEMAE)，它主要由一个全局分支和一个局部分支组成，通过全局随机和局部块掩码 - EMNLP一种令人沮丧却容易使用的即插即用的用于中文拼写检查的检测和推理模块
近年来，通过设计专门的预训练方法或引入辅助任务，中国拼写检查（CSC）得到了很大的改进，大多数方法通过端到端方式解决这个任务。本文提出将 CSC 的工作流程分解为检测、推理和搜索子任务，以更直接和高效地利用与中文语言相关的丰富外部知识。具体 - PonderV2：铺设通向通用预训练范式的 3D 基础模型之路
通过可微分神经渲染，我们提出了一个新的通用方法来学习点云表示，实现了 3D 和 2D 之间的无缝集成，并在室内和室外场景中的多个任务中实现了卓越的性能和持续改进。
- MM走向高质量的人脸表征学习
探索使用高性能预训练方法来提高面部分析任务的面部表示质量，在自我监督预训练框架中引入具有面部任务特殊调整的掩蔽图像建模和对比策略，并在大规模数据集上验证其优越性。
- BIOptimus：使用课程学习预训练最佳生物医学语言模型于命名实体识别
本研究通过比较不同的预训练方法，包括从头开始预训练生物医学语言模型和在连续环境中预训练模型，并利用 BERT 模型内上下文中的现有权重提炼初始化新标记的权重，加快预训练阶段并提高命名实体识别性能；此外，我们还比较了掩码率、损坏策略和掩码策略 - 面向自然语言推理的语言学启发式多目标预训练
本研究介绍了一种使用预训练方法的语言增强模型，包括基于词性标注、基于语义知识图谱的同义词预测和基于依存句法树的父级预测的预训练目标。结果表明，该方法在自然语言推断任务上具有竞争力。特别是对于更小的模型，这种方法可以显著提高性能，强调了智能预 - ACL动量对比预训练用于问答
本研究提出了一种用于提取式问答系统的动量对比预训练方法（MCROSS），以解决现有预训练方法中存在的由于关键词匹配而导致过度拟合问题，该方法采用动量对比学习框架来对齐填空式和自然问题 - 文章样本对之间的答案概率，从而使预训练模型能够更好地 - AAAI基于真实负例的语言模型预训练
本文提出基于传统预训练方法的修改方法，以期纠正自动构建样本时可能带来的误伤学习，增强了预训练过程对于真实负样本的学习，实验结果显示该方法可以提高预训练语言模型的性能并增强其健壮性。
- SIGIRSPACE-3：面向任务对话理解与生成的统一对话模型预训练
本文介绍了一种名为 SPACE-3 的新型半监督预训练会话模型，它可以从大规模对话语料库中学习任务导向对话系统所需的语义向量表达，并在若干下游任务中表现出领先的性能。
- 掩码自编码器作为预训练句子表示的统一学习者
该研究实现了扩展 MAE 预训练策略 RetroMAE 的统一框架以支持多样化的句子表示任务，并证明其在零样本检索和其他下游任务中的有效性，为未来的句子表示预训练的设计提供了实证建议。
- 悟空：一个亿级中文跨模态预训练基准
本文发布了一个名为 Wukong 的大规模中文跨模态数据集，旨在用于不同模态的预训练方法基准测试以促进 VLP 研究和社区发展，并通过扩展实验以及不同下游任务的基准测试验证了该数据集的有效性。
- ACLGPL: 密集检索的生成伪标签用于无监督域适应
该研究论文提出了一种新的无监督领域适应方法 Generative Pseudo Labeling，该方法结合查询生成器和交叉编码器的伪标记，证明该方法可以在数据集较小的目标领域中进行更加鲁棒的训练，并且在检索任务上比最先进的密集检索方法提高 - 信息检索中的预训练方法
本综述介绍了信息检索中的预训练方法，特别是神经信息检索，涵盖了预训练方法在不同组件中的应用，可用数据集以及基准排行榜，并讨论了现有挑战和未来研究方向。
- 文档 AI：基准、模型和应用
本文简要介绍了文档智能技术的发展和应用，重点关注了基于深度学习的自然语言处理和计算机视觉方法，提出了利用预训练技术的深度学习方法作为未来文档智能研究的方向。