从无到有的生成一致性：测量梯度走向演变

Aug, 2020

从无到有的生成一致性：测量梯度走向演变

Making Coherence Out of Nothing At All: Measuring the Evolution of Gradient Alignment

Satrajit Chatterjee, Piotr Zielinski

TL;DR本文提出一种新的指标 m-coherence，用来实验性地研究训练过程中样本间梯度的对齐情况。通过使用 m-coherence，我们研究了在 ImageNet 数据集上使用 ResNet 和 Inception 模型以及带有标签噪声的几个变体时，梯度对齐的演变情况，并对其进行了详细分析，从而更深入地证实了拟合理论。

Abstract

We propose a new metric ($m$-coherence) to experimentally study the alignment of per-example gradients during training. Intuitively, given a sample of size $m$, $m$-coherence is the number of examples in the sample that benefit from a small step along the gradient of any one example on

m-coherence per-example gradients resnet inception memorization

发现论文，激发创造

相干梯度：一种理解基于梯度下降的优化中泛化性质的方法

本文提出了一个关于如何解释神经网络使用梯度下降算法泛化能力较强的假设 Coherent Gradients，并支持该假设的启发式论证和简单实验证明。同时，该分析为防止过拟合提出了一种自然而然的梯度下降修改方法。

Feb, 2020

弱梯度和强梯度方向：解释尺度下的记忆、推广和难度

本文通过对 ResNet，Inception 和 VGG 等模型的实验验证了相干梯度假设，并提出了具有可扩展性的抑制弱梯度方向的方法，这是首次令当代的监督学习提供令人信服的概括能力证据。

Mar, 2020

跨领域可传递的神经连贯性模型

本研究探索了一种本地判别神经模型来提高文本的一致性，这样可以实现更广泛的领域泛化，从而显著提高了文章的可读性。

May, 2019

逼近互相一致性的启发式算法

本文提出了一种使用高斯混合模型和启发式算法来加速计算 Mutual coherence，达到高效精准的指标估算，可以用在 Wahl-O-Mat 等系统中的新方法。

Jul, 2023

基于梯度元学习的泛化理解探索

本文研究了神经网络在基于梯度的元学习中的泛化问题，分析了目标景观的各种特性，提出了一种新的正则化方法以增强模型的泛化能力。实验表明，在元训练提供的元解决方案的基础上，通过几步基于梯度的微调适应元训练模型到新任务时，所得到的元测试解决方案变得越来越平坦，损失更低，并且远离元训练解决方案。

Jul, 2019

COSMic: 一个针对图像描述的一致性感知生成度量

本研究提出了一种基于计算话语理论的生成度量，用于评估图像描述生成模型的语义和语用成功，与最近提出的学习指标相比，在人类评分预测方面表现更好。

Sep, 2021

统一的神经连贯模型

本文介绍了一种采用句子语法、句际连贯关系和全局连贯模式的统一一致性模型，该模型在局部和全局判别任务上表现良好，优于现有模型，并建立了新的最新技术成果。

Sep, 2019

一种用于连贯性建模的多任务学习方法

本研究提出一种层次神经网络模型，通过多任务学习，同时预测文档层次的信息连贯得分和词级别的语法角色，利用两个任务之间的归纳转移，提高模型泛化能力，并在不同任务中达到了新的最优表现。

Jul, 2019

冰山之尖外：文本分类器的连贯性评估

通过一种新的预测一致性评估框架来评估大规模预训练语言模型的能力，该框架可以快速、有效地提供对机器预测一致性的见解。

Sep, 2021

跨模态统一建模技术用于字幕生成

该论文利用与计算模型相关的连贯性关系研究了图像字幕生成的信息需求和目标，通过特定的协议，获取 10,000 个图像与字幕的连贯性关系，将其用于学习推理的新任务，得到的结果显示，通过连贯性关系提高了生成的字幕的一致性和质量。

May, 2020