简单介绍人工神经网络的构建与深度学习

        导读：简单介绍人工神经网络的构建与深度学习。如果将算法赋予电子元件（例如CPU），并通过信号通道将这些电子元件与传感器、输入设备以及相互之间进行链接可以模拟出人脑的神经网络。计算机的硬件技术飞速发展，使得构建大规模的人工神经网络成为可能，在未来出现能够比拟甚至超过人脑的人工神经网络是完全有可能的。

        参考《2017-2022年中国人工智能市场运营态势及十三五发展态势预测报告》
        要真正理解神经网络、深度学习的原理需要高深的生物学、数学和电子信息方面的知识，在很多专业性很强的书籍、文章中能找到答案。这里，我们希望通过简单的语言对神经网络、深度学习等相关概念进行通俗易懂的描述。

　　1.对人脑的仿生：人工神经网络的构建

　　人脑的神经元（神经细胞）由三个主要部分组成：树突负责信息的输入、细胞体负责处理信息、轴突则负责处理后信息的输出。当神经元接受到外界刺激时，经过内部的信息处理，将结果输出，这个过程看起来非常简单，但却是人脑思维形成的最基本过程。如果将算法赋予电子元件（例如CPU），并通过信号通道将这些电子元件与传感器、输入设备以及相互之间进行链接可以模拟出人脑的神经网络。计算机的硬件技术飞速发展，使得构建大规模的人工神经网络成为可能，在未来出现能够比拟甚至超过人脑的人工神经网络是完全有可能的。

　　以一个最简单的对苹果还是梨的判断来说明神经网络工作的原理。颜色、形状和气味是判断一个水果是苹果还是梨所需要的最基本的特征，当这些信息通过视觉、味觉或者传感器进入神经元，人脑（或者电脑）根据以往的经验，如果信息表现为红色、圆形、苹果味，那么最后的结果就是苹果。

　　这个过程看起来非常简单，但对于一个未加训练的人工神经网络来说，发生错误是难免的。例如，并不是所有的苹果都是红色，有的苹果是黄色，和梨的颜色非常接近；有的梨的形状和苹果也很接近；嫁接的新品种苹果梨到底算苹果还是梨，等等。当这些因素出现时，对人工神经网络来说是巨大考验，很容易给出错误的答案。

　　如何减少上述情况出现导致的错误呢，这就需要深度学习的帮助。

　　2.对学习的仿生：深度学习如何开展

　　在一系列残酷的动物实验之后，生物学家发现了人脑对外界刺激的识别是一个抽象和迭代的过程。例如，对一个静止图像的识别，最开始是对图像主体物边缘的识别，然后抽象到一些具体特征，最后才是对各种特征抽象和概念化以得到准确的意义。这一生物学发现意义重大，促成了人工智能在21世纪有了突破性的发展。

　　如果人脑的工作原理是从“浅层”的识别开始的，并将浅层识别的结果作为更高一层识别的输入信息，那么计算机搭建的人工神经网络是不是也可以仿效人脑进行工作呢？答案是肯定的。1996年，康奈尔大学在收集的大量黑白风景照片中每张随机提取16×16像素的方格，然后从任意一张风景照片中再提取一个16×16像素的方格进行比较，结果发现，包含物体边缘的方格是最容易找到非常接近的方格的。换句话说，“边缘”是识别一张风景图片的起点。这一实验证明对复杂事物的识别了从最基本“浅层”信息入手是有效和可行的。类似的实验后来被应用于语音识别，同样，“边缘”是识别一条语音最基本的“浅层”信息。

　　在一个单个神经网络，从信息输入到信息输出中间虽然有多个神经元，但都处于同一“层次”上，我们暂且称之为“浅层神经网络”，以区别于“深层神经网络”。识别苹果和梨貌似很简单，但对于人工神经网络则需经历一个复杂的过程。如果想让一个单层次的神经网络发挥作用，一个方法是由人来告诉计算机形状、颜色和味道信息，神经网络只做最后的一次判断。这样的做法似乎很可笑，但并非完全无用。

　　信息管理和数据挖掘中经常会使用到浅层神经网络，但前提是由信息管理专业的学生手工或使用软件将数据挖掘的材料准备好，这就如同由人来帮助人工神经网络判断水果形状、颜色和味道，通过人工参与弥补浅层神经网络局限性的方法。当人工智能的应用范围扩大，越来越多需要借助人工智能帮助的人员并非信息管理专业的学生，浅层神经网络已经跟不上形势和需要了。2006年，人工神经网络发展有了转折点，辛顿等研究人员提出了深度信念网络（Deep Belief Network，DBN），实现了对人脑多层神经网络信息处理、分析和学习的模拟，这推动了人工智能研究和应用向前迈进了一大步。

　　多层次的神经网络是实现深度学习的基础，那么与传统的神经网络比较，深层神经网络又哪些特点呢？深度学习又是如何在深层神经网络上展开的呢？

　　与传统的神经网络相同的是，深层神经网络也包括输入层、隐层和输出层，也只有相邻层级之间的神经元有链接通道，同一层及跨层之间是没有链接的。区别在于，深层神经网络具有更多层级数量，并且具有更有效的算法，更加接近人脑的结构，这使得深层神经网络能够处理更加复杂的输入信息，深度学习就是在这个多层级的人工神经网络上进行的。

　　在搞清楚深层神经网络如何进行深度学习之前，还要区别两个重要的概念：监督学习和非监督学习。简单而言，监督学习就是有人指出学习结果正确与否的学习。想象一下，当幼儿第一次看到苹果的时候，会建立一个包含苹果各种特征的概念；当下一次再看到苹果时，会加入对苹果新的概念，例如苹果并不都是红色的，还有黄色的、白色的、绿色的苹果，还有多种颜色混合的苹果。这期间，有可能会看到梨、橙子、乒乓球等与苹果在某些特征上相似的物体，幼儿可能把这些东西也认为是苹果，家长会指出错误，幼儿调整对苹果的认识，判断越来越准确。是不是很简单，这其实也是半个多世纪之前“感知机”的工作原理，通过不断优化不同输入信息的权重以实现更加准确的判断。

　　上述监督学习的过程，很容易忽略一个重要的前提条件，机器为什么知道通过形状或者颜色去判断一个物体是不是苹果，形状、颜色、气味是人基于经验对苹果赋予的“特征”属性，但机器并不知道这些就是苹果的特征。过去，一般由人来帮助机器先期定义“特征”，但由人参与对“特征”的选取是一件极其繁琐和耗费时间的工作，并且在面对未知事物的时候，一开始也无规律可循。在输入信息越来越复杂的情况下，人工选取特征已经难以为继了，由机器自动学习特征似乎是更好的做法，多层神经网络上进行的非监督学习能够完成这一过程。

　　非监督就如同一个没有家长在旁边指导的幼儿学习过程，其目的是推断出信息的内在数据规律。例如，幼儿在看到很多次苹果之后，会把具有一些圆形、红色、特殊味道的一类物体归为一类（虽然并不知道这就叫苹果）并与其他的水果区别开来，这个过程一是实现了聚类，更重要的是完成了特征学习，幼儿知道应该抓住哪些“特征”来判断一个物体是不是苹果。机器的非监督学习有类似的过程，在多层人工神经网络上对每一层级进行非监督学习，这是深度学习与传统神经网络最大区别，这一过程被称作特征学习。

　　我们可以总结出一个简化的深度学习过程：在深层神经网络中，采用无监督学习对每一层逐层进行训练，让机器不断学习这一层次需要识别的特征；每一层训练的结果作为更高一层集的输入信息直至最顶层；在最顶层，使用监督学习自上而下对各个层级的参数、权重、模型、算法进行微调。这一过程反复进行，直到达到一定准确度。与传统的机器学习比较，深度学习能够不需要人类帮助提取特征，这提高了学习的自主性和学习效果。

　　在实际应用中，对图像的识别、对声音的识别，或者像AlphaGo那样学习围棋采用的具体方法有很多，但大致的原理是相同的，只是过程和算法更加复杂。

资料来源：公开资料，报告网整理，转载请注明出处（ww）。