- LLMs 能通过教学来学习吗?初步研究
教学,LLMs,知识蒸馏,教学学习,模型改进。
- 基于概念的模型改进方法综述
最近的研究关注点已经从简单地提高深度神经网络(DNNs)在各种任务中的性能转向了更具人可解释性的 DNNs。人工智能解释性领域已经观察到了包括基于显著性和基于概念的技术。概念是人类可理解的数据单元,是人类思考的基础。本文系统地回顾和分类了 - 通过专业测试评估人工智能职业技能
通过一项新型的专业认证调查,本研究重点评估了两个引用率较高的 AI 模型 GPT-3 和 Turbo-GPT3.5 的职业技能。该研究强调实践准备的重要性,通过考察模型在由 1149 个专业认证组成的基准数据集上的表现,与人类测试成绩进行比 - AAAI分治:混合预训练用于人物搜索
本文介绍了一个针对人物搜索的混合预训练框架,通过使用子任务数据,利用混合学习范式和任务内对齐模块,在有限资源下减轻了领域差异,在不同协议中实现了显著的模型改进。
- InterVLS:用视觉语言替代模型的交互式理解和改进
通过发现与文本对齐的概念、用模型无关的线性替代物来度量它们的影响,InterVLS 系统促进了模型的理解,通过视觉分析提供基于概念的解释和性能洞察,使用户能够调整概念的影响来更新模型,可实现无编码模型的改进。
- QualEval: 模型改进的定性评估
提出了一种新的定量评估指标 QualEval,用于改进大型语言模型的定量测量方法。该方法通过使用动态优化求解器生成人类可读的洞察力,加速模型改进,并成功增加了模型开发的速度,成为一种数据科学家工具。
- ACL自然语言处理中的 "科学负债": 为更严谨的语言模型预训练研究而辩
本文对在语言模型预训练文献中的当前研究方法进行了基于证据的批判。尽管越来越好的预训练语言模型(PLMs)已经取得了快速进展,但当前的 PLM 研究实践通常混淆不同可能的模型改进来源,没有在可比条件下进行适当的消融研究和原则性比较。
- 计算机视觉模型在哪里会出错?使用交互性可视化找到和改善 CV 模型的错误地方和方式
该研究设计和评估了 2 个交互式可视化工具,帮助不同水平的机器学习专业人员提高计算机视觉模型的构建效率和选择性能较差的模型,减少改进模型所需的努力。
- 在开放世界假设下重新思考知识图谱评估
本文研究了在更现实的开放世界假设下,知识图谱补全模型的评估,指出在测试时采用的指标可能会不正确反映模型的表现,因为未知的三元组可能包含许多缺失的事实,不在训练或测试集中,因此建议对数据进行更多的探索和量化分析以改进现有的评估方法。
- AAAI将电子邮件分类为人类与机器类别
该研究提出利用深度学习模型对电子邮件按主题分类,使用四个 CNN 模型来提高模型性能和精确度,进而将模型应用于 Yahoo 邮件系统中。
- 基于循环卷积网络的短期天气预报改进
该研究承担了预测卫星气象数据的二维场的时间演变的任务,使其成为一个更加具有竞争力的浅层模型版本,并采用了 AdaBelief 优化器和改进处理,其中预测变量训练集与验证集不匹配时,通过使用多个模型来提高表现。
- ACL利用注意力混合学习切片感知表示
本文利用混合注意力的方法扩展了 slice-based learning (SBL),学习了切片感知的双重关注模型,实验证明这种方法在监测切片上比基准方法和原始 SBL 方法表现更好。
- CVPR现在我能看到,我能改进:在边缘使 CNN 的数据驱动微调成为可能
本文提供基于结构剪枝的边缘设备上的 CNN 微调方法,旨在提高模型精度和降低计算和存储性能消耗。结果表明,数据感知的剪枝和重新训练可以在各种子集,网络和剪枝级别上提供 10.2pp 的精度提高。
- 可解释的图像分类技术:基于证据的反事实推理
本文提出了 SED 为基于模型的实例级解释方法,以获得视觉反事实解释来解释图像分类结果,同时提出了 SED-T 作为可以指定反事实目标类别的替代方法,并与 LRP、LIME 和 SHAP 等流行的特征重要性方法进行了比较,展示了 SED ( - 基于句子优化的神经网络标题生成
本文介绍了一种使用最小化风险训练策略的神经模型,可以在句子级别上优化模型参数,从而显著提高英文和中文新闻标题生成系统的性能。