深度神经网络应用之前，传统的计算机视觉、语音识别方法是把特征提取和分类器设计分开来做，然后在应用时再合在一起，比如如果输入是一个摩托车图像的话，首先要有一个特征表达或者特征提取的过程，然后把表达出来的特征放到学习算法中进行分类的学习。
因为手工设计特征需要大量的经验，需要你对这个领域和数据特别了解，然后设计出来特征还需要大量的调试工作，说白了就是需要一点运气。另一个难点在于，你不只需要手工设计特征，还要在此基础上有一个比较合适的分类器算法。特征设计与分类器设计，这两者合并达到最优的效果，几乎是不可能完成的任务。
2012年后，深度神经网络给计算机视觉、语音识别、自然语言处理等领域带来了突破性的进展，在人脸识别、机器翻译等应用的准确率接近甚至超过了人类的水平。
深度神经网络最重要的是表示学习的能力，你把数据从一端扔进去，模型从另外一端就出来了，中间所有的特征完全可以通过学习自己来解决，而不再需要手工去设计特征了。其表示学习的能力主要体现在以下两点：
【1】深度逐层处理 我们如果把神经网络看作很多层，首先它在最底层，好像我们看到的是一些像素这样的东西。当我们一层一层往上的时候，慢慢的可能有边缘，再往上可能有轮廓，甚至对象的部件等等。当然这实际上只是个示意图，在真正的神经网络模型里面不见得会有这么清楚的分层。但是总体上当我们逐渐往上的时候，它确实是不断在对对象进行抽象。这一点也被业界研究者普遍接受。
【2】特征空间变换 深度逐层处理不仅仅深度神经网络具备，决策树、boosting类的算法也都具备。但深度神经网络每层之间存在特征空间的变换（通常是非线性的变换），把某个较低级别的特征表示表示成更加抽象的特征；决策树和boosting类算法各层之间都是在原始的特征空间中进行，没有进行特征的内部变换。
上述几点是深度神经网络的思想精髓所在，这一思想精髓，或许会指导后续一大批新的模型出现，比如南京大学周志华教授团队提出的gcForest（深度森林）。
