BEG
人的大脑会对眼睛捕捉到的外界事物进行逐级抽象，逐渐提取出抽象的语义信息，以便为人脑所理解。深度学习从这一科学发现得到启发，通过网络的权值来捕捉外界输入模式的特征，并且通过网络连接方式来组合这些特征从而提取出更加高层特征，采用这种方法逐级从大量的输入数据中学习到对于输入模式有效的特征表示，然后再把学习到的特征用于分类、回归和信息检索。深度学习能够提取输入数据的特征，降低输入数据的维数和复杂度，逼近复杂的函数。
为了使得深度网络结构变得更加容易训练，并且强化深度网络的特征提取和函数逼近能力，需要对深度学习网络采用更高效的网络表达方式。网络的表达方式是指网络采用何种结构上的连接方式来抽象表达输入模式的内部结构，或表示输入样本之间的关系。深度学习网络的表达方式有局部表达、分布式表达和稀疏表达3种。深度网络的网络结构是指网络神经元之间连接关系的确定原理，分为区分型网络结构和生成型网络结构两类。
1
局部表达、分布式表达和稀疏表达
局部表达是一种基于局部模板匹配的表达方式。先通过一个局部核函数对输入样本进行映射，然后再采用一个线性组合对局部核函数的输出进行组合，得到期望的输出。
稀疏表达约束深度网络大部分神经元节点处于抑制状态，即输出值为0；只有少数神经元处于活跃状态，输出值非0。稀疏表示的目的就是希望通过少量的神经元来辨识出输入模式内部的驱动要素，在提取出驱动要素的过程中降低网络的计算复杂度。
2
判别模型与生成模型
模型参数训练有两种方法，即判别方法和生成方法，参数训练后产生的模型分别称为判别模型和生成模型。在进行模型参数训练时给定一组输入X=(x1,x2,….xn)，对应也会在模型的输出端得到一组输出Y=(y1,y2,….yn)。在已知输出Y的情况下，一定存在一组最优的输入X*使得条件概率P(X|Y)的值达到最大。由贝叶斯公式和全概率公式可得：
其中，P(Y|X)称为先验概率，P(X|Y)成为后验概率。生成方法是先对先验概率P(Y|X)建模，然后再求最优的输入参数。当输出Y已知时，P(Y) = 1，即X* = argmax P(Y|X)，因此生成模型认为模型的输出Y可以看作是由输入X生成的。判别方法则是直接对后验概率P(X|Y)进行建模，在给定输出Y的状态下寻找最优的输入X*，因此判别模型认为模型的输入X是由模型的输出Y决定的。
根据采用参数训练方法不同，深度网络分为生成型深度网络和判别型深度网络两类。深度学习常用模型有堆叠自动编码器、卷积网络和深度信念网络。其中，堆叠自动编码器和卷积网络属于生成型深度网络；深度信念网络属于判别型深度网络。此外，还有一些混合网络，如卷积网络和自动编码器组成卷积自动编码器，限制玻尔兹曼机和卷积网络组成卷积深度信念网络。深度学习应用最为广泛的有卷积网络、深度信念网络和堆叠自动编码器三种网络，这三种网络有各自的网络结构。
3
参考文献
[1] 孙志军, 薛雷, 许阳明, 王正. 深度学习研究综述[J]. 计算机应用研究, 2012, 29(8):2806-2810.
[2] 刘建伟, 刘媛, 罗雄麟. 深度学习研究进展[J]. 计算机应用研究, 2014, 31(7):1921-1942.
[3] T. N. Sainath,B. Kingsbury, A. R. Mohamed. Learning filter banks within a deep neural network framework[C]. IEEE Workshop on Automatic Speech Recognition and Understanding (ASRU), Olomouc, 2013.
[4] G. E. Hinton and R. R. Salakhutdinov. Reducing the dimensionality of data with neural networks[J]. Science, 2006:504–507.
[5] Y. LeCun, L. Bottou, Y. Bengio, P. Haffner, Gradient_based Learning Applied to Document Rerognition[J]. PROC. OF THE IEEE, 1998:1-46.
扫描下方二维码可以订阅哦！
