pretraining objective | BriefGPT

关键词pretraining objective

搜索结果 - 4

ACL告诉我下一步：通用用户界面表示的文本预测
通过预训练目标 Textual Foresight 来学习移动应用程序用户界面的表示，该方法能生成给定当前界面和本地操作后的未来界面状态的全局文本描述，并在 UI 生成任务上比现有技术性能提高了 2%，训练数据量减少 28 倍。使用新构建的
PDF24 days ago
掩码语言模型所学习条件句的不一致性
此篇研究发现遮蔽语言模型中双向条件的不一致性，尤其在 T5 和 BERT 模型的二元模型中表现得十分显著。这些不一致性可能影响基于 BERT 模式的 MLMs 的序列采样研究，同时也意味着具有相似功能的 T5 式 MLMs 会基于不同遮蔽数
PDF2 years ago
TABBIE：表格数据的预训练表示
通过自我学习目标函数和预训练语言模型（如 BERT）对表格和相关文本进行联合建模的现有工作可以提高涉及配对表格和文本的任务（例如回答关于表格的问题）的性能，但在没有任何相关文本的情况下处理表格的任务（例如填充缺失的单元格）时表现不佳。我们提
PDF3 years ago
语言模型教给你的句法知识比翻译多：通过辅助任务分析所学到的教训
该研究比较了四种不同的预训练目标（语言模型、翻译、跳跃思考和自编码）对模型学习语言信息和句法信息的影响，结果表明语言模型对于转移学习和需要句法信息的应用最为适合。
PDF6 years ago