在了解深度学习之前，我们先了解什么是机器学习。机器学习属于人工智能的，通过算法使得机器能从大量历史数据中学习规则，从而对新的样本做出智能识别或对未来做出预测。从20世纪80年代末期以来，机器学习的发展大致经历了两次浪潮：浅层学习（shallow learning）和深度学习（deep learning）。

        1.1浅层学习

        20世纪80年代，用于人工神经网络的反向传播算法（Back Propagation）给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。利用BP算法可以让一个人工神经网络模型从大量训练样本中学习出统计规律，从而对未知事件做预测。这种基于统计的机器学习方法比起过去基于人工规则的系统，在很多方面显示了优越性。这个时候的人工神经网络，虽然也被称为多层感知机，实际使用的只是含有一层隐层节点的浅层模型。

        20世纪90年代，各种各样的浅层机器学习模型相继被提出，比如支撑向量机（support vector machines， SVM），Boosting，最大熵方法（比如 logistic regression，LR）等。这些模型的结构基本上可以看成带有一层隐层节点（如 SVM，Boosting），或没有隐层节点（如LR）。

        互联网的高速发展，对大数据的分析和预测提出了需求，浅层学习模型在互联网应用上获得了成功，包括搜索广告系统（例如谷歌的Adwords、百度的凤巢系统）、广告点击率CTR预估、基于内容的推荐等。

        1.2深度学习

        2006年，加拿大多伦多大学教授Hinton和他的学生在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章表达了两个观点：（1）很多隐层的人工神经网络具有优异的特征学习能力；（2）深度神经网络在训练上的难度，可以通过“逐层初始化”来克服。

        2010年，美国国防部DARPA计划首次资助深度学习项目，参与者有斯坦福大学、纽约大学和NEC美国研究院。资助深度学习的一个重要依据，就是脑神经系统具有丰富的层次结构。目前深度学习的理论研究还基本处于起步阶段，但在应用领域已经显现巨大能量。2011年以来，微软研究院和谷歌的语音识别研究人员先后采用DNN技术降低识别错误率20%—30%，是语音识别领域10多年来最大的突破性进展。2012年DNN技术在图像识别领域取得惊人的效果，在ImageNet评测上将错误率从26%降低到15%。