虽然上述三种基于强监督信息的分类模型取得了较满意的分类精度，但由于标注信息的获取代价十分昂贵，在一定程度上也局限了这类算法的实际应用。因此，目前细粒度图像分类的一个明显趋势是，希望在模型训练时仅使用图像级别标注信息，而不再使用额外的Part Annotation信息时，也能取得与强监督分类模型可比的分类精度。这便是“基于弱监督信息的细粒度分类模型”。细粒度分类模型思路同强监督分类模型类似，也需要借助全局和局部信息来做细粒度级别的分类。而区别在于，弱监督细粒度分类希望在不借助Part Annotation的情况下，也可以做到较好的局部信息的捕捉。当然，在分类精度方面，目前最好的弱监督分类模型仍与最好的强监督分类模型存在差距（分类准确度相差约1％～2%）。下面介绍三个弱监督细粒度图像分类模型的代表。

Two Level Attention Model

　　顾名思义，该模型主要关注两个不同层次的特征，分别是物体级别和部件级别信息。当然，该模型并不需要数据集提供这些标注信息，完全依赖于本身的算法来完成物体和局部区域的检测。其整体流程如图8所示。

　　图8 Two Level Attention流程图

　　该模型主要分为三个阶段。1. 预处理模型：从输入图像中产生大量的候选区域，对这些区域进行过滤，保留包含前景物体的候选区域；2. 物体级模型：训练一个网络实现对对象级图像进行分类；在此需要重点介绍的是，3. 局部级模型。我们来看，在不借助Part Annotation的情况下，该模型怎样做到Part检测。

　　由于预处理模型选择出来的这些候选区域大小不一，有些可能包含了头部，有些可能只有脚。为了选出这些局部区域，首先利用物体级模型训练的网络来对每一个候选区域提取特征。接下来，对这些特征进行谱聚类，得到K个不同的聚类簇。如此，则每个簇可视为代表一类局部信息，如头部、脚等。这样，每个簇都可以被看做一个区域检测器，从而达到对测试样本局部区域检测的目的。

Constellations

　　Constellations方案是利用卷积网络特征本身产生一些关键点，再利用这些关键点来提取局部区域信息。对卷积特征进行可视化分析（如图9所示），发现一些响应比较强烈的区域恰好对应原图中一些潜在的局部区域点。因此，卷积特征还可以被视为一种检测分数，响应值高的区域代表着原图中检测到的局部区域。不过，特征输出的分辨率与原图相差较大，很难对原图中的区域进行精确定位。受到前人工作的启发，我采用的方法是通过计算梯度图来产生区域位置。

　　图9 Constellations方案

　　具体而言，卷积特征的输出是一个W×H×P维的张量，P表示通道的个数，每一维通道可以表示成一个W×H维的矩阵。通过计算每一维通道P对每一个输入像素的平均梯度值，可以得到与原输入图像大小相同的特征梯度图：

　　上面公式可以通过反向传播高效地完成计算。这样，每一个通道的输入都可以转换成与原图同样大小的特征梯度图。在特征梯度图中响应比较强烈的区域，即可代表原图中的一个局部区域。于是每一张梯度图中响应最强烈的位置即作为原图中的关键点：

　　卷积层的输出共有P维通道，可分别对应于P个关键点位置。后续对这些关键点或通过随机选择或通过Ranking来选择出重要的M个。得到关键点后分类就是易事啦。其分类处理流程如图10所示。

　　图10 卷积特征输出的分类流程

Bilinear CNN

　　深度学习成功的一个重要精髓，就是将原本分散的处理过程，如特征提取，模型训练等，整合进了一个完整的系统，进行端到端的整体优化训练。不过，在以上所有的工作中，我们所看到的都是将卷积网络当做一个特征提取器，并未从整体上进行考虑。最近，T.-Y. Lin、A.RoyChowdhury等人设计了一种端到端的网络模型Bilinear CNN，在CUB200-2011数据集上取得了弱监督细粒度分类模型的最好分类准确度。