深度学习是早期人工神经网络算法的衍生，是深度神经网络的统称。
Deep Neural Network（DNN）—深度神经网络 
Convolutional Neural Network（CNN）—卷积神经网络 
Recurrent Neural Network（RNN）—循环神经网络 
Long Short Term Memory （LSTM）—长短记忆时间循环神经网络 

神经网络的发展阶段：

按照隐藏层的层数可分为：感知器（无隐藏层）、多层感知器（包含一隐藏层）、深度神经网络（包含两个及两个以上的隐藏层）。深度神经网络又分化为卷积神经网络、循环神经网络。

深度神经网络一般模型及特点：

描述：包含两个及两个以上的隐藏层的神经网络称为深度神经网络，其中“深度”没有固定定义。
局限性：DNN在理论上可以拟合任一函数，但对于非连续的且有突然极陡跳跃的函数，一般来说无法使用DNN进行近似。
优势：DNN表达力更强，更节约资源。虽然仅有一个隐藏层的神经网络就能拟合任一函数，但需要很多的神经元。而深层网络用少得多的神经元就能拟合同样的函数，使用一个深而窄的网络，往往更节约资源。
劣势：

全连接深度神经网络（下层神经元和所有上层神经元都形成连接）参数数量膨胀问题。
随着神经网络层数的加深，“梯度消失”现象更加严重，利用有限数据训练的深层网络，性能还不如较浅层网络。

A. S型神经元对于幅度为1的信号，在BP反向传播梯度时，每传递一层，梯度衰减为原来的0.25。层数一多，梯度指数衰减后低层基本上接受不到有效的训练信号。
B. 为了克服梯度消失，ReLU、maxout等激励函数函数代替了 Sigmoid。
C. 避免了梯度弥散问题，出现了高速公路网络和深度残差学习，残差学习网络层数已达到152层。