赵走x博客 - 开发者的网上家园

深入浅出Python机器学习：22、神经网络的前世今生

资源编号:75919 人工智能深入浅出Python机器学习热度：180

神经网络：曾入“冷宫”，如年再宠

>神经网络：曾入“冷宫”，如年再宠
最近小C 的女朋友小I 有一点困扰， 事情是这样的： 小I 通过了CPA 考试，而后顺利拿到了四大会计师事务所之一的offer ，成了一名高端大气上档次的会计师。但是作为应届生，在“四大”里面什么苦活累活都得干，其中最琐碎枯燥的工作之一，就是财务凭证的录入工作。在传统的工作模式下，财务人员要把凭证上的数字一个一个录入到系统中， 十分耗时耗力，这导致小I 常常要加班到很晚。小C 看在眼里，心疼得不行，所以他决定训练一个神经网络来帮助小I 更高效地完成工作。
本章主要涉及的知识点有：
1、神经网络的前世今生
2、神经网络的原理和非线性矫正
3、神经网络的模型参数调节
4、使用神经网络训练手写数字识别模型

其实神经网络并不是什么新鲜事物了，早在1943 年，美国神经解剖学家沃伦· 麦克洛奇（ Warren McCulloch ）和数学家沃尔特·皮茨（ Walter Pitts ）就提出了第一个脑神经元的抽象模型，被称为M-P 模型（ McCu lloch-Pitts neuron, MCP ） 。

# 1、神经网络的起源
这里我们要先简单介绍一下神经元（ Neuron ），神经元是大脑中相互连接的神经细胞，它可以处理和传递化学和电信号。有意思的是，神经元具有两种常规工作状态： 兴奋和抑制，这和计算机中的“ l ”和“。”原理几乎完全一样。所以麦克洛奇和皮茨将神经元描述为一个具备二进制输出的逻辑门：当传入的神经冲动使细胞膜电位升高超过阀值时，细胞进入兴奋状态，产生神经冲动并由轴突输出：反之当传入的冲动使细胞膜电位下降低于阔值时，细胞进入抑制状态，便没有神经冲动输出。神经元的结构如图8-1 所示。

![bs64](https://img.handsomemark.com/2019/10/10/b464c01a-eb0d-11e9-b501-0242ac140002.png)
图8-1 神经元的结构

# 2、第一个感知器学习法则
1958 年，著名的计算机科学家弗兰克· 罗森布拉特（ Frank Rossenblatt ) （见图8 -2 ）基于M -P 模型提出了第一个感知器学习法则，他的感知器由两层神经元组成神经网络，是世界上肯个可以学习的人工神经网络，而且己经可以进行简单的图像识别，这在当时的社会可是引起了轩然大波。人们都以为发现了智能的奥秘， 甚至美国军方认为神经网络比原子弹工程更重要， 井大力资助神经网络的研究。

但是好景不长，到了1 969 年，另一位计算机领域的大牛马文· 明斯基（ Mar v inMi nsky) （见图8 - 3 ）出版了pe陀eptron 的一书，书中阐述了感知器的弱点，单层感知器对很多简单的任务都无法完成，而双层感知器又对计算能力的要求过高（当时的计算能力远远达不到今天的水平〉，而且没有有效的学习算法。结论是研究更深层的神经网络没有意义。明斯基的论述让神经网络的研究陷入低谷，这也是被大家称为“ AI winter"的人工智能冰河期。

![bs64](https://img.handsomemark.com/2019/10/10/e14f37c2-eb0d-11e9-8415-0242ac140002.png)
图8 - 3 马文· 明斯基
>马文·明斯基是人工智能领域的先驱者，著名的达特茅斯会议就是他于1956 年和另一位重量级的科学家约翰·麦卡锡共同发起的。1969 年明斯基被授予图灵奖，是历史上第一位获此殊荣的人工智能学者。可惜的是， 2016 年1 月，这位伟大的科学家离我们而去，享年88 岁。

# 3、神经网络之父一一杰弗瑞· 欣顿
又过了将近十年的时间，杰弗瑞·欣顿(Geof丘ey Hi nton) （ 见图8 - 4 ）等人提出了反向传播算法（ B ack propagation , BP) , 解决了两层神经网络所需要的复杂计算问题，重新带动业界的热潮。而杰弗瑞． 欣顿本人也被大家称为“神经网络之父。
但让人万万想不到的是，到了2 0 世纪9 0 年代中期， SVM 算法， 也就是我们在第7 章中介绍的支持向量机诞生。SVM 一问世就显露出强悍的能力，如不需要调参、效率更高等， 它的出现又一次将神经网络击败， 成为了当时的主流算法。从此， 神经网络又一次进入了冰河期。

好在杰弗瑞· 欣顿并没有放弃，在神经网络被摒弃的时间里， 他和其他几个学者还坚持在研究，而且给多层神经网络算法起了一个新的名字一一深度学习。

后来的事情大家都知道了，在本次人工智能大潮中，深度学习占据了统治地位，不管是在图像识别、语音识别、自然语言处理、无人驾驶等领域，都有非常广泛的应用。

本章我们重点介绍的，便是神经网络中的多层感知器（ Multila）咄· Perceptron, MLP ） 。