- 时间重要性:研究生物医学语言模型的时间效应
通过统计测试了语言模型性能与数据变化之间的关系,研究表明时间对于部署生物医学语言模型至关重要,性能下降程度根据生物医学任务和统计方法的不同而异。
- 剪枝模型中的神经负荷探索:基于神经科学的启示
通过对修剪方法的研究,我们提出了一种名为神经负担的人工神经网络模型新概念,研究了其在模型修剪过程中的影响,并探索了一种简单而有效的方法来减轻模型性能下降,该方法可以应用于任何修剪过程中的修剪技术。广泛的实验结果表明神经负担现象确实存在,并展 - Synth4Kws: 低资源环境下用于用户定义关键词检测的合成语音
通过合成数据实现定制关键词检测(KWS)模型,提高低资源环境下的模型性能。
- Craft: 跨模态对齐特征提高提示调整的鲁棒性
通过交叉模态对齐的特征调整方法(Craft)解决了提示调整方法由于训练样本有限而导致的过拟合问题,并通过优化特征对齐损失和最小化最大均值差异来提高模型性能和鲁棒性。
- 超越尺寸和类平衡:Alpha 作为深度学习的新数据质量度量
通过分析医学图像数据集,我们发现在深度学习中,通过最大化图像数据集的多样性以提高模型性能,而不是仅仅依靠数据集大小和类别平衡,可以作为一种潜在的新方法来改善医学影像学中的深度学习性能。
- 稳定音频开放
描述了一个采用 Creative Commons 数据训练的新型开放权重文本至音频模型的架构和训练过程,评估结果表明该模型在各种度量标准上与最先进的模型竞争力相当,尤其是报告的 FDopenl3 结果展示了其在 44.1kHz 高质量立体声 - 医学影像中的数据集精炼:可行性研究
通过对多种医学图像处理中的数据提炼方法进行广泛实验,我们的研究发现数据提炼可以显著减少数据集大小,同时保持与完整数据集相当的模型性能,这表明小规模的图像样本可以作为数据提炼成功的可靠指标,证明了数据提炼是一种有效和安全的医学数据共享方法,有 - 为大型语言模型打造有效的微调策略
使用少量数据和提前模型性能评估的贝叶斯超参数优化方法,可以有效提高大型语言模型的准确性,并减少对庞大数据集的依赖。
- 动态图学习中的时域感受野:综合分析
动态链接预测是对演化网络进行分析的关键任务,研究范围从推荐系统到经济交易。通过对多个数据集和模型进行综合分析,我们形式化了动态图学习中时间感知域的作用,并强调了它们对预测准确性的关键影响。我们的结果表明,恰当选择的时间感知域可以显著提高模型 - MMAstroMLab 1:谁能赢得天文知识问答?
通过使用第一个专门为天文学设计的基准数据集,我们全面评估了专有和开放权重的大型语言模型。我们的分析检查了模型在各种天文学子领域的性能,并评估了响应校准,对于潜在在研究环境中的部署至关重要。Claude-3.5-Sonnet 在精度上优于竞争 - ICML评估模型偏差需要表征其错误
适当基准模型性能是重要的,以便构建更好的预测器并增加对模型正常运行的信心。我们引入了 SkewSize,它是一种捕捉模型预测中偏见的度量,能够在多类设置或开放词汇生成模型的情况下使用。SkewSize 能够突显其他指标未捕捉到的偏见,并提供 - 大型语言模型中的 Transformer 对齐
通过分析 38 个开放可用的大型语言模型,我们发现 Residual Jacobians 的左右奇异向量的对齐、线性化和层次指数增长等现象与模型性能正相关,这些重要发现揭示了以往被忽视的显著规律,加强了对 LLM 体系结构的动态解释,并为进 - 智能采样:从友好邻居获得帮助的分散联邦学习
AFIND + 是一种用于 Decentralized FL 的简单且高效的采样算法,通过选择有益的邻居节点,自适应调整选中的邻居数量,并基于其贡献战略性地汇聚采样邻居的模型,从而提高客户端模型的性能。实证结果表明,AFIND + 在不同数 - 基于 DWT 和正规化的高效 GAN 用于文档图像二值化
基于三阶段网络架构,结合离散小波变换和规范化以降低输入图像尺寸,从而减少训练和推理时间,提供了有效去除阴影和噪声的生成对抗网络方法,通过引入新的生成器、判别器和损失函数进一步改善模型性能,相比于现有技术,在保持模型性能为 73.79 的平均 - 当您编辑代码时,让代码改变自己的 LLM
通过介绍一种称为 PIE(Positional Integrity Encoding)的方法,本研究解决了代码生成中的效率和准确性之间的问题,并在不同规模和任务下降低了超过 85% 的计算开销。
- 增强文档级关系抽取的高效多重监督
提出了高效的多监督关系抽取方法,通过融合远程监督和专家监督选择信息丰富的文档子集,并利用多方监督排名损失训练模型,以提高模型性能并具有较高的时间效率。
- 情感分析的多任务学习
这项研究在情感计算领域进行,旨在提高情绪识别领域多任务学习的效率和效果。研究探索了单任务解决方案和多任务方法,并通过修改输出层和损失函数,利用现有的神经网络架构进行多任务学习,研究结果对于情感计算领域具有潜在的应用价值。
- 深入探索行人行为理解:意图估计、动作预测和事件风险评估
从意图估计、行为预测和事件风险评估三个不同任务的角度探讨行人行为理解问题,并提出了一个基于这些定义、可用注释和三类新指标的新基准,用于评估模型性能。
- SMLT-MUGC: 小型、中型和大型文本 —— 机器与用户生成内容的检测与比较
对于理解大型语言模型的能力和缓解可能带来的后果,识别由大型语言模型生成的文本至关重要。通过分析不同长度的数据集(小、中、大)以及比较机器学习算法在不同数据集上的性能表现,本研究发现,对于参数非常庞大(比如 1542 亿参数的 GPT2 的 - ICML从有偏选择标签到伪标签:一种期望最大化学习框架应对有偏决策
我们提出了一种名为不平等审查的算法,用于处理标签的选择性问题,并通过理论分析和验证实验证明了其在模型性能上的好处。