大家好,感谢邀请,今天来为大家分享一下卷积神经网络的问题,以及和卷积的通俗理解的一些困惑,大家要是还不太明白的话,也没有关系,因为接下来将为大家分享,希望可以帮助到大家,解决大家的问题,下面就开始吧!
什么是卷积神经网络为什么它们很重要
卷积神经网络(Convolutional Neural Network,CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。[1]它包括卷积层(alternating convolutional layer)和池层(pooling layer)。
卷积神经网络是近年发展起来,并引起广泛重视的一种高效识别方法。20世纪60年代,Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性,继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。现在,CNN已经成为众多科学领域的研究热点之一,特别是在模式分类领域,由于该网络避免了对图像的复杂前期预处理,可以直接输入原始图像,因而得到了更为广泛的应用。 K.Fukushima在1980年提出的新识别机是卷积神经网络的第一个实现网络。随后,更多的科研工作者对该网络进行了改进。其中,具有代表性的研究成果是Alexander和Taylor提出的“改进认知机”,该方法综合了各种改进方法的优点并避免了耗时的误差反向传播。
前馈神经网络、BP神经网络、卷积神经网络的区别与联系
一、计算方法不同
1、前馈神经网络:一种最简单的神经网络,各神经元分层排列。每个神经元只与前一层的神经元相连。接收前一层的输出,并输出给下一层.各层间没有反馈。
2、BP神经网络:是一种按照误差逆向传播算法训练的多层前馈神经网络。
3、卷积神经网络:包含卷积计算且具有深度结构的前馈神经网络。
二、用途不同
1、前馈神经网络:主要应用包括感知器网络、BP网络和RBF网络。
2、BP神经网络:
(1)函数逼近:用输入向量和相应的输出向量训练一个网络逼近一个函数;
(2)模式识别:用一个待定的输出向量将它与输入向量联系起来;
(3)分类:把输入向量所定义的合适方式进行分类;
(4)数据压缩:减少输出向量维数以便于传输或存储。
3、卷积神经网络:可应用于图像识别、物体识别等计算机视觉、自然语言处理、物理学和遥感科学等领域。
联系:
BP神经网络和卷积神经网络都属于前馈神经网络,三者都属于人工神经网络。因此,三者原理和结构相同。
三、作用不同
1、前馈神经网络:结构简单,应用广泛,能够以任意精度逼近任意连续函数及平方可积函数.而且可以精确实现任意有限训练样本集。
2、BP神经网络:具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定,并且随着结构的差异其性能也有所不同。
3、卷积神经网络:具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类。
扩展资料:
1、BP神经网络优劣势
BP神经网络无论在网络理论还是在性能方面已比较成熟。其突出优点就是具有很强的非线性映射能力和柔性的网络结构。网络的中间层数、各层的神经元个数可根据具体情况任意设定,并且随着结构的差异其性能也有所不同。但是BP神经网络也存在以下的一些主要缺陷。
①学习速度慢,即使是一个简单的问题,一般也需要几百次甚至上千次的学习才能收敛。
②容易陷入局部极小值。
③网络层数、神经元个数的选择没有相应的理论指导。
④网络推广能力有限。
2、人工神经网络的特点和优越性,主要表现在以下三个方面
①具有自学习功能。例如实现图像识别时,只在先把许多不同的图像样板和对应的应识别的结果输入人工神经网络,网络就会通过自学习功能,慢慢学会识别类似的图像。自学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经济预测、效益预测,其应用前途是很远大的。
②具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。
③具有高速寻找优化解的能力。寻找一个复杂问题的优化解,往往需要很大的计算量,利用一个针对某问题而设计的反馈型人工神经网络,发挥计算机的高速运算能力,可能很快找到优化解。
参考资料:百度百科—前馈神经网络
百度百科—BP神经网络
百度百科—卷积神经网络
百度百科—人工神经网络
卷积层在神经网络中如何运算
卷积神经网络(Convolutional Neural Networks, CNN)的核心是进行卷积运算操作。在实际应用中往往采用多层网络结构,因此又被称为深度卷积神经网络。本文将从单个卷积的计算出发,带大家掌握卷积层在神经网络中的运算方法。
2.1单个卷积的计算
要想了解卷积层在神经网络中的计算过程,我们首先需要了解单个“卷积”是如何运作的。
想必大家在学习CNN的过程中都见过下图(出处在此,这上面有各种各样的卷积gif图):
input_shape=(5,5),kernelsize=(3,3),padding=‘same’,stride=1,output_shape=(5,5)
在此图中:
在此次计算中:
Ps:在实际应用中,每一个输出的特征图还会配备一个偏置bais,在上图中无表示。
2.2卷积层在神经网络中的运算
了解完单个卷积是如何计算的之后,我们就可以从神经网络的角度来看‘卷积层’的运算过程了。下图展示的是输入三通图像(8*8*3)经一层卷积结构,输出两通特征图(8*8*2)的计算过程:
卷积参数:input_shape=(8,8,3),kernelsize=(3,3),padding=‘same’,stride=1,output_shape=(8,8,2)
在此图中:
在此次卷积层的运算中:
首先我们来关注一下输入和输出,他俩的尺度都是(8*8),而输入是3通道,输出是2通道(深度学习中不管干啥一定要先看输入输出,对一层是这样,对整个模型也是这样)。
其次就准备进入我们最熟悉的卷积核计算了,可是在此之前我们得知道,这个运算过程中到底发生了几次卷积核计算呢?有的朋友可能要说,卷积的一大特性就是‘权值共享’,有几通输出就有几个卷积核,每个卷积核把输入特征图从头扫到尾。然而这个其实是不对的!
实际上,在卷积核计算数量问题上,应该是“有几通道的输出就有几套卷积核,每套内的卷积核数量与输入通道数相等”,就像我在上图中所画的:
至此,这一个卷积层的运算就全部完成了。
2.3“可训练参数”验证
毕竟空口无凭,下面我来通过“可训练参数”的数量,来为大家验证一下卷积层是不是按我说的这么运算的。大家应该知道,一个卷积层内的“可训练参数”,其实就是指的卷积核里的那些值,以及要加的偏置量,那么如果按照前面描述的计算方法来看,一个卷积层内的“可训练参数有多少呢”?我们可知:
由此可得到:
那么按理说可训练参数量应为:
让我们用keras的summary()来验证一下:
很棒!
记住,普通卷积层的可训练参数量为:
Ps:还有一个衡量模型大小、复杂度的量叫做“理论计算量FLOPs”(floating point operations)。它通常只考虑Conv、FC等参数层的乘、加操作的数量,并且“纯加”操作也会被忽略(例如bias)。卷积层运算中的FLOPs计算公式为:
Ps:这里还要为大家明确一个“感受野”的概念,简单来讲就是卷积神经网络中的某一层特征图上的一个点,对应到原图上可以关联到多少个点,我们用一张图来解释一下:
上图展示的是一个3层一维卷积,kernel_size=3,我们可以看到:顶层左一的像素与底层左起7个像素值有关,这时候就代表它的感受野有7。我们可以显而易见的得出以下两个结论:
这个感受野在后续的卷积的拆分讲解中还要用到。
专题推荐:
