卷积操作后,我们得到了一张张有着不同值的feature map,尽管数据量比原图少了很多,但还是过于庞大(比较深度学习动不动就几十万张训练图片),因此接下来的池化操作就可以发挥作用了,它最大的目标就是减少数据。
拿最大池化Max Pooling举例:选择池化尺寸为2x2,因为选定一个2x2的窗口,在其内选出最大值更新进新的feature map。
最终得到池化后的feature map。可明显发现数据量减少了很多。
一、基础知识
1.1
卷积神经网络
(
CNN
)
CNN
新
出现
了
卷积
层(Convolution层)和
池化层
(
Pool
ing
层), 这两种
不同
类型的层通常是交替的, 最后通常由一个或多个全连接层组成
卷积
网络的核心思想是将:局部感受野、权
值
共享(或者权
值
复制)以及时间或空间亚采样(池化)这三种结构思想结合起来获得了某种程度的位移、尺度、形变不变性.
诺贝尔奖获得者神经生理学家Hubel和Wie-sel早在1960年代发现了大脑视觉处理的开始阶段对视觉域的所有部分都作用了同样的局部滤波器,而在视觉处理过程进行时,信息由输入变得更广的部分整合起来的,这个工作通过层次完成. 在
卷积神经网络
中也遵循同样的模式
对输入数据进行展开之后,再对展开的矩阵求各行的最大
值
,这个就是做max
操作
,然后再转换成合适的形状就可以了。所以这个
池化层
就分三步走,展开输入数据-->求最大
值
-->转换形状
池化层
(
Pool
ing
Layer)是深度学习神经网络中的一个重要组成部分,通常用于减
少
特征图的空间尺寸,从而降低模型复杂度和计算量,同时还能增强模型的不变性和鲁棒性。
池化层
在
CNN
中起到了非常重要的作用,可以有效地减
少
模型的复杂度,提高模型的计算效率,并增强模型对输入数据的不变性和鲁棒性。例如,一个2x2的最大
池化层
会将每个2x2的方块区域中的4个
值
中的最大
值
作为一个单独的
值
输出到下一层。通过减
少
特征图的空间尺寸,可以减
少
模型的参数数量和计算量,从而加速模型的训练和推理过程。
前几篇我们介绍了
CNN
的
卷积
层,今天我们补充一下
CNN
的
池化层
。传送门:
卷积神经网络
(
CNN
)
卷积
核的基本概况关于tensorflow与pytorch里的
卷积
层理解转置
卷积
与空洞
卷积
回顾池...
5.1 常用池化方法
池化
pool
ing
,又称为下采样,downstream sampl
ing
or sub-sampl
ing
。
池化方法分为两种,一种是最大
值
池化 Max
Pool
ing
,一种是平均
值
池化 Mean/Average
Pool
ing
。如图17-32所示。
图17-32 池化
最大
值
池化,是取当前池化视野中所有元素的最大
值
,输出到下一层特征图中。
平均
值
池化,是取当前池化视野中所有元素的平均
值
,输出到下一层特征图中。
其目的是:
扩大视野:就如同先从近处看
一张
图片,然后离
池化层
简述
池化层
的分类最大/均
值
池化中
值
池化组合池化Spatial Pyramid
Pool
ing
Global Average/Max
Pool
ing
参考文献
池化层
(
Pool
ing
Layer)是
CNN
中常见的一种
操作
,
池化层
通常也叫做子采样(subsampl
ing
)或降采样(Downsampl
ing
),在构建
CNN
网络时,往往是用在
卷积
层之后,通过
池化层
来降低
卷积
层输出的特征维度,在有效减
少
网络参数的同时还可以防止
过拟合
现象。
说到池化
操作
,就会想到我们经常用的池化
操作
,即最大池化(Max
首先我们想到的是给图像的像素点做flatten,当图片很小的时候,全连接神经网络还依旧能work,假设图片的尺寸是224*224的黑白图像,那么需要的参数数量就是50176,这样来看,训练的代价会非常大,如果类别也不多,很大可能会
出现
过拟合
的情况,我们还不如直接One-hot。上面我们讲述,图像在
卷积
核的作用下会让图像的尺寸缩小,如果我们想训练特别深的网络,比如网络100层,采用3* 3的
卷积
核,图像尺寸32*32,那么在16层后,图像的尺寸就没了。默认每次步长为1,步长增大,可以减
少
计算量,减
少
时间。
LeNet-5 动图详细讲解网络结构
LeNet-5 是 Yann LeCun 等人在1998年设计的用于手写数字识别的
卷积神经网络
,当年美国大多数银行就是用它来识别支票上面的手写数字的,它是早期
卷积神经网络
中最有代表性的实验系统之一。本文将重点讲解LeNet-5的网络参数计算和实现细节。
1. LeNet-5全貌
LeNet-5是一个7层
卷积神经网络
(一般输入层不计)。上图已经清晰的标明了各层...
前言:
卷积神经网络
是深度学习算法中一个重要组成部分,在深度学习图像识别技术的应用中起到了关键作用。
卷积神经网络
和循环神经网络(RNN)都是类似于传统的全连接神经网络(也叫深度神经网络,简称DNN),
CNN
属于编码了空间相关性的DNN,RNN属于编码了时间相关性的DNN。由于图像任务的
不同
,
CNN
的网络层也会有些许变动,但是基本上都会使用到
卷积
层、
池化层
以及非线性层。为了加深这方面理论知识的理解,本文将从多方面深入讲解
CNN
中的
卷积
操作
、池化
操作
以及激活函数。......
CNN
网络在反向传播中需要逐层向前求梯度,然而
pool
ing
层没有可学习的参数,那它是如何进行反向传播的呢?
此外,
CNN
中为什么要加
pool
ing
层,它的作用是什么?
Pool
ing
层
CNN
一般采用average
pool
ing
或max
pool
ing
来进行池化
操作
,而池化
操作
会改变
feature
map
的大小,例如大小为64×64的
feature
map
使用2×2的步长池化后,
feature
map
大小为32×32。因此,这会使得在反向传播中,
pool
ing
层的梯度无法与前一层相对应。
独家思维导图!让你秒懂李宏毅2020深度学习(四)——
CNN
(Convolutional Neural network)
前三篇文章传送门:
独家思维导图!让你秒懂李宏毅2020机器学习(一)—— Regression回归
独家思维导图!让你秒懂李宏毅2020机器学习(二)—— Classification分类
独家思维导图!让你秒懂李宏毅2020深度学习(三)—— 深度学习基础(神经网络和反向传播部分)
文章目录独家思维导图!让你秒懂李宏毅2020深度学习(四)——
CNN
(Convolutional
1.
卷积神经网络
的概念
上世纪60年代,Hubel等人通过对猫视觉皮层细胞的研究,提出了感受野这个概念,到80年代,Fukushima在感受野概念的基础之上提出了神经认知机的概念,可以看作是
卷积神经网络
的第一个实现网络,神经认知机将一个视觉模式分解成许多子模式(特征),然后进入分层递阶式相连的特征平面进行处理,它
试
图将视觉系统模型化,使其能够在即使物体有位移或轻微变形的时候,也能完成识别。
卷积神经网络
是多层感知机(MLP)的变种,由生物学家休博尔和维瑟尔在早期关于猫视觉皮层的研究发展而来,视觉皮层的
在
卷积神经网络
中,我们经常会碰到池化
操作
,而
池化层
往往在
卷积
层后面,通过池化来降低
卷积
层输出的特征向量,同时改善结果(不易
出现
过拟合
)。
为什么可以通过降低维度呢?
因为图像具有一种“静态性”的属性,这也就意味着在一个图像区域有用的特征极有可能在另一个区域同样适用。因此,为了描述大的图像,一个很自然的想法就是对
不同
位置的特征进行聚合统计,例如,人们可以计算图像一个区域上的某个特定特征的平均
值
如何理解
卷积神经网络
中的
卷积
及池化(
pool
ing
)
1.
卷积
卷积
层是用一个固定大小的矩形区去席卷原始数据,将原始数据分成一个个和
卷积
核大小相同的小块,然后将这些小块和
卷积
核相乘输出一个
卷积
值
(注意这里是一个单独的
值
,不再是矩阵了)。
卷积
的本质就是用
卷积
核的参数来提取原始数据的特征,通过矩阵点乘的运算,提取出和
卷积
核特征一致的
值
,如果
卷积
层有多个
卷积
核,则神经网络会自动学习
卷积
核的参数
值
,使得每个
卷积
核代表一个特征。
卷积
首先要定义一个
卷积
核,
卷积
核通常是一个正方形,长宽就是
卷积
核的尺寸。
图像的
卷积