人工神经网络分析模型应用绩效

❶ 人工神经网络有什么应用条件

人工神经网络（Artificial Neural Network，简称ANN ），以数学模型模拟神经元活动，是基于模仿大脑神经网络结构和功能而建立的一种信息处理系统。人工神经网络具有自学习、自组织、自适应以及很强的非线性函数逼近能力，拥有强大的容错性。它可以实现仿真、预测以及模糊控制等功能。是处理非线性系统的有力工具。
它是物流合作伙伴选择方法中合作伙伴选择的神经网络算法的另一种名称。它是20世界80年代后迅速发展的一门新兴学科，ANN可以模拟人脑的某些智能行为，如知觉，灵感和形象思维等，具有自学性，自适应和非线性动态处理等特征。
将ANN应用于供应链管理（SCM）环境下合作合办的综合评价选择，意在建立更加接近于人类思维模式的定性与定量相结合的综合评价选择模型。通过对给定样本模式的学习，获取评价专家的知识，经验，主管判断及对目标重要性的倾向，当对合作伙伴作出综合评价时，该方法可再现评价专家的经验，知识和直觉思维，从而实现了定性分析与定量分析的有效结合，也可以较好的保证合作伙伴综合评价结果的客观性。
在选定评价指标组合的基础上，对评价指标作出评价，得到评价值后，因各指标间没有统一的度量标准，难以进行直接的分析和比较，也不利于输入神经网络计算。因此，在用神经网络进行综合评价之前，应首先将输入的评价值通过隶属函数的作用转换为（0，1]之间的值，即对评价值进行标准无纲量化，并作为神经网络的输入，以使ANN可以处理定量和定性指标。

❷ 人工神经网络评价法

人工神经元是人工神经网络的基本处理单元，而人工智能的一个重要组成部分又是人工神经网络。人工神经网络是模拟生物神经元系统的数学模型，接受信息主要是通过神经元来进行的。首先，人工神经元利用连接强度将产生的信号扩大；然后，接收到所有与之相连的神经元输出的加权累积；最后，将神经元与加权总和一一比较，当比阈值大时，则激活人工神经元，信号被输送至与它连接的上一层的神经元，反之则不行。

人工神经网络的一个重要模型就是反向传播模型(Back-Propagation Model)(简称BP模型)。对于一个拥有n个输入节点、m个输出节点的反向传播网络，可将输入到输出的关系看作n维空间到m维空间的映射。由于网络中含有大量非线性节点，所以可具有高度非线性。

(一)神经网络评价法的步骤

利用神经网络对复垦潜力进行评价的目的就是对某个指标的输入产生一个预期的评价结果，在此过程中需要对网络的连接弧权值进行不断的调整。

(1)初始化所有连接弧的权值。为了保证网络不会出现饱和及反常的情况，一般将其设置为较小的随机数。

(2)在网络中输入一组训练数据，并对网络的输出值进行计算。

(3)对期望值与输出值之间的偏差进行计算，再从输出层逆向计算到第一隐含层，调整各条弧的权值，使其往减少该偏差的方向发展。

(4)重复以上几个步骤，对训练集中的各组训练数据反复计算，直至二者的偏差达到能够被认可的程度为止。

(二)人工神经网络模型的建立

(1)确定输入层个数。根据评价对象的实际情况，输入层的个数就是所选择的评价指标数。

(2)确定隐含层数。通常最为理想的神经网络只具有一个隐含层，输入的信号能够被隐含节点分离，然后组合成新的向量，其运算快速，可让复杂的事物简单化，减少不必要的麻烦。

(3)确定隐含层节点数。按照经验公式：

灾害损毁土地复垦

式中：j——隐含层的个数；

n——输入层的个数；

m——输出层的个数。

人工神经网络模型结构如图5-2。

图5-2人工神经网络结构图(据周丽晖，2004)

(三)人工神经网络的计算

输入被评价对象的指标信息(X₁，X₂，X₃，…，X_n)，计算实际输出值Y_j。

灾害损毁土地复垦

比较已知输出与计算输出，修改K层节点的权值和阈值。

灾害损毁土地复垦

式中：w_ij——K-1层结点j的连接权值和阈值；

η——系数(0＜η＜1)；

X_i——结点i的输出。

输出结果：

C_j＝y_j(1-y_j)(d_j-y_j) (5-21)

式中：y_j——结点j的实际输出值；

d_j——结点j的期望输出值。因为无法对隐含结点的输出进行比较，可推算出：

灾害损毁土地复垦

式中：X_j——结点j的实际输出值。

它是一个轮番代替的过程，每次的迭代都将W值调整，这样经过反复更替，直到计算输出值与期望输出值的偏差在允许值范围内才能停止。

利用人工神经网络法对复垦潜力进行评价，实际上就是将土地复垦影响评价因子与复垦潜力之间的映射关系建立起来。只要选择的网络结构合适，利用人工神经网络函数的逼近性，就能无限接近上述映射关系，所以采用人工神经网络法进行灾毁土地复垦潜力评价是适宜的。

(四)人工神经网络方法的优缺点

人工神经网络方法与其他方法相比具有如下优点：

(1)它是利用最优训练原则进行重复计算，不停地调试神经网络结构，直至得到一个相对稳定的结果。所以，采取此方法进行复垦潜力评价可以消除很多人为主观因素，保证了复垦潜力评价结果的真实性和客观性。

(2)得到的评价结果误差相对较小，通过反复迭代减少系统误差，可满足任何精度要求。

(3)动态性好，通过增加参比样本的数量和随着时间不断推移，能够实现动态追踪比较和更深层次的学习。

(4)它以非线性函数为基础，与复杂的非线性动态经济系统更贴近，能够更加真实、更为准确地反映出灾毁土地复垦潜力，比传统评价方法更适用。

但是人工神经网络也存在一定的不足：

(1)人工神经网络算法是采取最优化算法，通过迭代计算对连接各神经元之间的权值不断地调整，直到达到全局最优化。但误差曲面相当复杂，在计算过程中一不小心就会使神经网络陷入局部最小点。

(2)误差通过输出层逆向传播，隐含层越多，逆向传播偏差在接近输入层时就越不准确，评价效率在一定程度上也受到影响，收敛速度不及时的情况就容易出现，从而造成个别区域的复垦潜力评价结果出现偏离。

❸ AlphaGo的神奇全靠它，详解人工神经网络!

• 01

  Alphago在不被看好的情况下，以4比1击败了围棋世界冠军李世石，令其名震天下。随着AlphaGo知名度的不断提高，人们不禁好奇，究竟是什么使得AlphaGo得以战胜人类大脑？AlphaGo的核心依托——人工神经网络。

  什么是神经网络?

  人工神经网络是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用来探索数据的模式。

  神经网络是一种运算模型，由大量的节点（或称“神经元”，或“单元”）和之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。

  例如，用于手写识别的一个神经网络是被可由一个输入图像的像素被激活的一组输入神经元所定义的。在通过函数（由网络的设计者确定）进行加权和变换之后，这些神经元被激活然后被传递到其他神经元。重复这一过程，直到最后一个输出神经元被激活。这样决定了被读取的字。

  它的构筑理念是受到人或其他动物神经网络功能的运作启发而产生的。人工神经网络通常是通过一个基于数学统计学类型的学习方法得以优化，所以人工神经网络也是数学统计学方法的一种实际应用，通过统计学的标准数学方法我们能够得到大量的可以用函数来表达的局部结构空间，另一方面在人工智能学的人工感知领域，我们通过数学统计学的应用可以来做人工感知方面的决定问题(也就是说通过统计学的方法，人工神经网络能够类似人一样具有简单的决定能力和简单的判断能力)，这种方法比起正式的逻辑学推理演算更具有优势。

  人工神经网络是一个能够学习，能够总结归纳的系统，也就是说它能够通过已知数据的实验运用来学习和归纳总结。人工神经网络通过对局部情况的对照比较（而这些比较是基于不同情况下的自动学习和要实际解决问题的复杂性所决定的），它能够推理产生一个可以自动识别的系统。与之不同的基于符号系统下的学习方法，它们也具有推理功能，只是它们是建立在逻辑算法的基础上，也就是说它们之所以能够推理，基础是需要有一个推理算法则的集合。

  2AlphaGo的原理回顶部

  AlphaGo的原理

  首先，AlphaGo同优秀的选手进行了150000场比赛，通过人工神经网络找到这些比赛的模式。然后通过总结，它会预测选手在任何位置高概率进行的一切可能。AlphaGo的设计师通过让其反复的和早期版本的自己对战来提高神经网络，使其逐步提高获胜的机会。

  从广义上讲，神经网络是一个非常复杂的数学模型，通过对其高达数百万参数的调整来改变的它的行为。神经网络学习的意思是，电脑一直持续对其参数进行微小的调整，来尝试使其不断进行微小的改进。在学习的第一阶段，神经网络提高模仿选手下棋的概率。在第二阶段，它增加自我发挥，赢得比赛的概率。反复对极其复杂的功能进行微小的调整，听起来十分疯狂，但是如果有足够长的时间，足够快的计算能力，非常好的网络实施起来并不苦难。并且这些调整都是自动进行的。

  经过这两个阶段的训练，神经网络就可以同围棋业余爱好者下一盘不错的棋了。但对于职业来讲，它还有很长的路要走。在某种意义上，它并不思考每一手之后的几步棋，而是通过对未来结果的推算来决定下在哪里。为了达到职业级别，AlphaGp需要一种新的估算方法。

  为了克服这一障碍，研究人员采取的办法是让它反复的和自己进行对战，以此来使其不断其对于胜利的估算能力。尽可能的提高每一步的获胜概率。（在实践中，AlphaGo对这个想法进行了稍微复杂的调整。）然后，AlphaGo再结合多线程来使用这一方法进行下棋。

  我们可以看到，AlphaGo的评估系统并没有基于太多的围棋知识，通过分析现有的无数场比赛的棋谱，以及无数次的自我对战练习，AlphaGo的神经网络进行了数以十亿计的微小调整，即便每次只是一个很小的增量改进。这些调整帮助AlphaGp建立了一个估值系统，这和那些出色围棋选手的直觉相似，对于棋盘上的每一步棋都了如指掌。

  此外AlphaGo也使用搜索和优化的思想，再加上神经网络的学习功能，这两者有助于找到棋盘上更好的位置。这也是目前AlphaGo能够高水平发挥的原因。

  3神经网络的延伸和限制回顶部

  神经网络的延伸和限制

  神经网络的这种能力也可以被用在其他方面，比如让神经网络学习一种艺术风格，然后再将这种风格应用到其他图像上。这种想法很简单：首先让神经网络接触到大量的图像，然后来确认这些图像的风格，接着将新的图像带入这种风格。

  这虽然不是伟大的艺术，但它仍然是一个显著的利用神经网络来捕捉直觉并且应用在其他地方的例子。

  在过去的几年中，神经网络在许多领域被用来捕捉直觉和模式识别。许多项目使用神经这些网络，涉及的任务如识别艺术风格或好的视频游戏的发展战略。但也有非常不同的网络模拟的直觉惊人的例子，比如语音和自然语言。

  由于这种多样性，我看到AlphaGo本身不是一个革命性的突破，而是作为一个极其重要的发展前沿：建立系统，可以捕捉的直觉和学会识别模式的能力。此前计算机科学家们已经做了几十年，没有取得长足的进展。但现在，神经网络的成功已经大大扩大，我们可以利用电脑攻击范围内的潜在问题。

  事实上，目前现有的神经网络的理解能力是非常差的。神经网络很容易被愚弄。用神经网络识别图像是一个不错的手段。但是实验证明，通过对图像进行细微的改动，就可以愚弄图像。例如，下面的图像左边的图是原始图，研究人员对中间的图像进行了微小的调整后，神经网络就无法区分了，就将原图显示了出来。

  另一个限制是，现有的系统往往需要许多模型来学习。例如，AlphaGo从150000场对战来学习。这是一个很庞大额度数字！很多情况下，显然无法提供如此庞大的模型案例。

❹ 人工神经网络的应用分析

经过几十年的发展，神经网络理论在模式识别、自动控制、信号处理、辅助决策、人工智能等众多研究领域取得了广泛的成功。下面介绍神经网络在一些领域中的应用现状。 在处理许多问题中，信息来源既不完整，又包含假象，决策规则有时相互矛盾，有时无章可循，这给传统的信息处理方式带来了很大的困难，而神经网络却能很好的处理这些问题，并给出合理的识别与判断。
1.信息处理
现代信息处理要解决的问题是很复杂的，人工神经网络具有模仿或代替与人的思维有关的功能， 可以实现自动诊断、问题求解，解决传统方法所不能或难以解决的问题。人工神经网络系统具有很高的容错性、鲁棒性及自组织性，即使连接线遭到很高程度的破坏， 它仍能处在优化工作状态，这点在军事系统电子设备中得到广泛的应用。现有的智能信息系统有智能仪器、自动跟踪监测仪器系统、自动控制制导系统、自动故障诊断和报警系统等。
2. 模式识别
模式识别是对表征事物或现象的各种形式的信息进行处理和分析，来对事物或现象进行描述、辨认、分类和解释的过程。该技术以贝叶斯概率论和申农的信息论为理论基础，对信息的处理过程更接近人类大脑的逻辑思维过程。现在有两种基本的模式识别方法，即统计模式识别方法和结构模式识别方法。人工神经网络是模式识别中的常用方法，近年来发展起来的人工神经网络模式的识别方法逐渐取代传统的模式识别方法。经过多年的研究和发展，模式识别已成为当前比较先进的技术，被广泛应用到文字识别、语音识别、指纹识别、遥感图像识别、人脸识别、手写体字符的识别、工业故障检测、精确制导等方面。 由于人体和疾病的复杂性、不可预测性，在生物信号与信息的表现形式上、变化规律（自身变化与医学干预后变化）上，对其进行检测与信号表达，获取的数据及信息的分析、决策等诸多方面都存在非常复杂的非线性联系，适合人工神经网络的应用。目前的研究几乎涉及从基础医学到临床医学的各个方面，主要应用在生物信号的检测与自动分析，医学专家系统等。
1. 生物信号的检测与分析
大部分医学检测设备都是以连续波形的方式输出数据的，这些波形是诊断的依据。人工神经网络是由大量的简单处理单元连接而成的自适应动力学系统， 具有巨量并行性，分布式存贮，自适应学习的自组织等功能，可以用它来解决生物医学信号分析处理中常规法难以解决或无法解决的问题。神经网络在生物医学信号检测与处理中的应用主要集中在对脑电信号的分析，听觉诱发电位信号的提取、肌电和胃肠电等信号的识别，心电信号的压缩，医学图像的识别和处理等。
2. 医学专家系统
传统的专家系统，是把专家的经验和知识以规则的形式存储在计算机中，建立知识库，用逻辑推理的方式进行医疗诊断。但是在实际应用中，随着数据库规模的增大，将导致知识“爆炸”，在知识获取途径中也存在“瓶颈”问题，致使工作效率很低。以非线性并行处理为基础的神经网络为专家系统的研究指明了新的发展方向， 解决了专家系统的以上问题，并提高了知识的推理、自组织、自学习能力，从而神经网络在医学专家系统中得到广泛的应用和发展。在麻醉与危重医学等相关领域的研究中，涉及到多生理变量的分析与预测，在临床数据中存在着一些尚未发现或无确切证据的关系与现象，信号的处理，干扰信号的自动区分检测，各种临床状况的预测等，都可以应用到人工神经网络技术。 1. 市场价格预测
对商品价格变动的分析，可归结为对影响市场供求关系的诸多因素的综合分析。传统的统计经济学方法因其固有的局限性，难以对价格变动做出科学的预测，而人工神经网络容易处理不完整的、模糊不确定或规律性不明显的数据，所以用人工神经网络进行价格预测是有着传统方法无法相比的优势。从市场价格的确定机制出发，依据影响商品价格的家庭户数、人均可支配收入、贷款利率、城市化水平等复杂、多变的因素，建立较为准确可靠的模型。该模型可以对商品价格的变动趋势进行科学预测，并得到准确客观的评价结果。
2. 风险评估
风险是指在从事某项特定活动的过程中，因其存在的不确定性而产生的经济或财务的损失、自然破坏或损伤的可能性。防范风险的最佳办法就是事先对风险做出科学的预测和评估。应用人工神经网络的预测思想是根据具体现实的风险来源， 构造出适合实际情况的信用风险模型的结构和算法，得到风险评价系数，然后确定实际问题的解决方案。利用该模型进行实证分析能够弥补主观评估的不足，可以取得满意效果。 从神经网络模型的形成开始，它就与心理学就有着密不可分的联系。神经网络抽象于神经元的信息处理功能，神经网络的训练则反映了感觉、记忆、学习等认知过程。人们通过不断地研究， 变化着人工神经网络的结构模型和学习规则，从不同角度探讨着神经网络的认知功能，为其在心理学的研究中奠定了坚实的基础。近年来，人工神经网络模型已经成为探讨社会认知、记忆、学习等高级心理过程机制的不可或缺的工具。人工神经网络模型还可以对脑损伤病人的认知缺陷进行研究，对传统的认知定位机制提出了挑战。
虽然人工神经网络已经取得了一定的进步，但是还存在许多缺陷，例如：应用的面不够宽阔、结果不够精确；现有模型算法的训练速度不够高；算法的集成度不够高；同时我们希望在理论上寻找新的突破点， 建立新的通用模型和算法。需进一步对生物神经元系统进行研究，不断丰富人们对人脑神经的认识。

❺ 人工神经网络综述

文章主要分为：
一、人工神经网络的概念；
二、人工神经网络的发展历史；
三、人工神经网络的特点；
四、人工神经网络的结构。
。。

人工神经网络（Artificial Neural Network，ANN）简称神经网络(NN)，是基于生物学中神经网络的基本原理，在理解和抽象了人脑结构和外界刺激响应机制后，以网络拓扑知识为理论基础，模拟人脑的神经系统对复杂信息的处理机制的一种数学模型。该模型以并行分布的处理能力、高容错性、智能化和自学习等能力为特征，将信息的加工和存储结合在一起，以其独特的知识表示方式和智能化的自适应学习能力，引起各学科领域的关注。它实际上是一个有大量简单元件相互连接而成的复杂网络，具有高度的非线性，能够进行复杂的逻辑操作和非线性关系实现的系统。

神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激活函数（activation function）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重（weight），神经网络就是通过这种方式来模拟人类的记忆。网络的输出则取决于网络的结构、网络的连接方式、权重和激活函数。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达。神经网络的构筑理念是受到生物的神经网络运作启发而产生的。人工神经网络则是把对生物神经网络的认识与数学统计模型相结合，借助数学统计工具来实现。另一方面在人工智能学的人工感知领域，我们通过数学统计学的方法，使神经网络能够具备类似于人的决定能力和简单的判断能力，这种方法是对传统逻辑学演算的进一步延伸。

人工神经网络中，神经元处理单元可表示不同的对象，例如特征、字母、概念，或者一些有意义的抽象模式。网络中处理单元的类型分为三类：输入单元、输出单元和隐单元。输入单元接受外部世界的信号与数据；输出单元实现系统处理结果的输出；隐单元是处在输入和输出单元之间，不能由系统外部观察的单元。神经元间的连接权值反映了单元间的连接强度，信息的表示和处理体现在网络处理单元的连接关系中。人工神经网络是一种非程序化、适应性、大脑风格的信息处理，其本质是通过网络的变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。

神经网络，是一种应用类似于大脑神经突触连接结构进行信息处理的数学模型，它是在人类对自身大脑组织结合和思维机制的认识理解基础之上模拟出来的，它是根植于神经科学、数学、思维科学、人工智能、统计学、物理学、计算机科学以及工程科学的一门技术。

在介绍神经网络的发展历史之前，首先介绍一下神经网络的概念。神经网络主要是指一种仿造人脑设计的简化的计算模型，这种模型中包含了大量的用于计算的神经元，这些神经元之间会通过一些带有权重的连边以一种层次化的方式组织在一起。每一层的神经元之间可以进行大规模的并行计算，层与层之间进行消息的传递。

下图展示了整个神经网络的发展历程：

神经网络的发展有悠久的历史。其发展过程大致可以概括为如下4个阶段。

(1)、M-P神经网络模型：20世纪40年代，人们就开始了对神经网络的研究。1943 年，美国心理学家麦克洛奇（Mcculloch）和数学家皮兹（Pitts）提出了M-P模型，此模型比较简单，但是意义重大。在模型中，通过把神经元看作个功能逻辑器件来实现算法，从此开创了神经网络模型的理论研究。
(2)、Hebb规则：1949 年，心理学家赫布（Hebb）出版了《The Organization of Behavior》（行为组织学），他在书中提出了突触连接强度可变的假设。这个假设认为学习过程最终发生在神经元之间的突触部位，突触的连接强度随之突触前后神经元的活动而变化。这一假设发展成为后来神经网络中非常著名的Hebb规则。这一法则告诉人们，神经元之间突触的联系强度是可变的，这种可变性是学习和记忆的基础。Hebb法则为构造有学习功能的神经网络模型奠定了基础。
(3)、感知器模型：1957 年，罗森勃拉特（Rosenblatt）以M-P 模型为基础，提出了感知器（Perceptron）模型。感知器模型具有现代神经网络的基本原则，并且它的结构非常符合神经生理学。这是一个具有连续可调权值矢量的MP神经网络模型，经过训练可以达到对一定的输入矢量模式进行分类和识别的目的，它虽然比较简单，却是第一个真正意义上的神经网络。Rosenblatt 证明了两层感知器能够对输入进行分类，他还提出了带隐层处理元件的三层感知器这一重要的研究方向。Rosenblatt 的神经网络模型包含了一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突破。
(4)、ADALINE网络模型： 1959年，美国著名工程师威德罗（B.Widrow）和霍夫（M.Hoff）等人提出了自适应线性元件(Adaptive linear element，简称Adaline)和Widrow-Hoff学习规则（又称最小均方差算法或称δ规则）的神经网络训练方法，并将其应用于实际工程，成为第一个用于解决实际问题的人工神经网络，促进了神经网络的研究应用和发展。ADALINE网络模型是一种连续取值的自适应线性神经元网络模型，可以用于自适应系统。

人工智能的创始人之一Minsky和Papert对以感知器为代表的网络系统的功能及局限性从数学上做了深入研究，于1969年发表了轰动一时《Perceptrons》一书，指出简单的线性感知器的功能是有限的，它无法解决线性不可分的两类样本的分类问题，如简单的线性感知器不可能实现“异或”的逻辑关系等。这一论断给当时人工神经元网络的研究带来沉重的打击。开始了神经网络发展史上长达10年的低潮期。
(1)、自组织神经网络SOM模型：1972年，芬兰的KohonenT.教授，提出了自组织神经网络SOM(Self-Organizing feature map)。后来的神经网络主要是根据KohonenT.的工作来实现的。SOM网络是一类无导师学习网络，主要用于模式识别﹑语音识别及分类问题。它采用一种“胜者为王”的竞争学习算法，与先前提出的感知器有很大的不同，同时它的学习训练方式是无指导训练，是一种自组织网络。这种学习训练方式往往是在不知道有哪些分类类型存在时，用作提取分类信息的一种训练。
(2)、自适应共振理论ART：1976年，美国Grossberg教授提出了著名的自适应共振理论ART(Adaptive Resonance Theory)，其学习过程具有自组织和自稳定的特征。

(1)、Hopfield模型：1982年，美国物理学家霍普菲尔德（Hopfield）提出了一种离散神经网络，即离散Hopfield网络，从而有力地推动了神经网络的研究。在网络中，它首次将李雅普诺夫（Lyapunov）函数引入其中，后来的研究学者也将Lyapunov函数称为能量函数。证明了网络的稳定性。1984年，Hopfield 又提出了一种连续神经网络，将网络中神经元的激活函数由离散型改为连续型。1985 年，Hopfield和Tank利用Hopfield神经网络解决了著名的旅行推销商问题（Travelling Salesman Problem）。Hopfield神经网络是一组非线性微分方程。Hopfield的模型不仅对人工神经网络信息存储和提取功能进行了非线性数学概括，提出了动力方程和学习方程，还对网络算法提供了重要公式和参数，使人工神经网络的构造和学习有了理论指导，在Hopfield模型的影响下，大量学者又激发起研究神经网络的热情，积极投身于这一学术领域中。因为Hopfield 神经网络在众多方面具有巨大潜力，所以人们对神经网络的研究十分地重视，更多的人开始了研究神经网络，极大地推动了神经网络的发展。
(2)、Boltzmann机模型：1983年，Kirkpatrick等人认识到模拟退火算法可用于NP完全组合优化问题的求解，这种模拟高温物体退火过程来找寻全局最优解的方法最早由Metropli等人1953年提出的。1984年，Hinton与年轻学者Sejnowski等合作提出了大规模并行网络学习机，并明确提出隐单元的概念，这种学习机后来被称为Boltzmann机。
Hinton和Sejnowsky利用统计物理学的感念和方法，首次提出的多层网络的学习算法，称为Boltzmann 机模型。
(3)、BP神经网络模型：1986年，儒默哈特（D.E.Ru melhart）等人在多层神经网络模型的基础上，提出了多层神经网络权值修正的反向传播学习算法----BP算法（Error Back-Propagation），解决了多层前向神经网络的学习问题，证明了多层神经网络具有很强的学习能力，它可以完成许多学习任务，解决许多实际问题。
(4)、并行分布处理理论：1986年，由Rumelhart和McCkekkand主编的《Parallel Distributed Processing：Exploration in the Microstructures of Cognition》，该书中，他们建立了并行分布处理理论，主要致力于认知的微观研究，同时对具有非线性连续转移函数的多层前馈网络的误差反向传播算法即BP算法进行了详尽的分析，解决了长期以来没有权值调整有效算法的难题。可以求解感知机所不能解决的问题，回答了《Perceptrons》一书中关于神经网络局限性的问题，从实践上证实了人工神经网络有很强的运算能力。
(5)、细胞神经网络模型：1988年，Chua和Yang提出了细胞神经网络（CNN）模型，它是一个细胞自动机特性的大规模非线性计算机仿真系统。Kosko建立了双向联想存储模型（BAM），它具有非监督学习能力。
(6)、Darwinism模型：Edelman提出的Darwinism模型在90年代初产生了很大的影响，他建立了一种神经网络系统理论。
(7)、1988年，Linsker对感知机网络提出了新的自组织理论，并在Shanon信息论的基础上形成了最大互信息理论，从而点燃了基于NN的信息应用理论的光芒。
(8)、1988年，Broomhead和Lowe用径向基函数(Radialbasis function, RBF)提出分层网络的设计方法，从而将NN的设计与数值分析和线性适应滤波相挂钩。
(9)、1991年，Haken把协同引入神经网络，在他的理论框架中，他认为，认知过程是自发的，并断言模式识别过程即是模式形成过程。
(10)、1994年，廖晓昕关于细胞神经网络的数学理论与基础的提出，带来了这个领域新的进展。通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）、双向联想记忆网络（BAM）模型。
(11)、90年代初，Vapnik等提出了支持向量机(Supportvector machines, SVM)和VC(Vapnik-Chervonenkis)维数的概念。
经过多年的发展，已有上百种的神经网络模型被提出。

深度学习(Deep Learning,DL)由Hinton等人于2006年提出，是机器学习的一个新领域。深度学习本质上是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息。深度学习算法打破了传统神经网络对层数的限制，可根据设计者需要选择网络层数。

突触是神经元之间相互连接的接口部分，即一个神经元的神经末梢与另一个神经元的树突相接触的交界面，位于神经元的神经末梢尾端。突触是轴突的终端。
大脑可视作为1000多亿神经元组成的神经网络。神经元的信息传递和处理是一种电化学活动．树突由于电化学作用接受外界的刺激，通过胞体内的活动体现为轴突电位，当轴突电位达到一定的值则形成神经脉冲或动作电位；再通过轴突末梢传递给其它的神经元．从控制论的观点来看；这一过程可以看作一个多输入单输出非线性系统的动态过程。
神经元的功能特性：（1）时空整合功能；（2）神经元的动态极化性；（3）兴奋与抑制状态；（4）结构的可塑性；（5）脉冲与电位信号的转换；（6）突触延期和不应期；（7）学习、遗忘和疲劳。

神经网络从两个方面模拟大脑：
(1)、神经网络获取的知识是从外界环境中学习得来的。
(2)、内部神经元的连接强度，即突触权值，用于储存获取的知识。
神经网络系统由能够处理人类大脑不同部分之间信息传递的由大量神经元连接形成的拓扑结构组成，依赖于这些庞大的神经元数目和它们之间的联系，人类的大脑能够收到输入的信息的刺激由分布式并行处理的神经元相互连接进行非线性映射处理，从而实现复杂的信息处理和推理任务。
对于某个处理单元（神经元）来说，假设来自其他处理单元（神经元）i的信息为Xi，它们与本处理单元的互相作用强度即连接权值为Wi, i=0,1,…,n-1,处理单元的内部阈值为θ。那么本处理单元（神经元）的输入为：

，而处理单元的输出为：

式中，xi为第i个元素的输入，wi为第i个处理单元与本处理单元的互联权重即神经元连接权值。f称为激活函数或作用函数，它决定节点（神经元）的输出。θ表示隐含层神经节点的阈值。

神经网络的主要工作是建立模型和确定权值，一般有前向型和反馈型两种网络结构。通常神经网络的学习和训练需要一组输入数据和输出数据对，选择网络模型和传递、训练函数后，神经网络计算得到输出结果，根据实际输出和期望输出之间的误差进行权值的修正，在网络进行判断的时候就只有输入数据而没有预期的输出结果。神经网络一个相当重要的能力是其网络能通过它的神经元权值和阈值的不断调整从环境中进行学习，直到网络的输出误差达到预期的结果，就认为网络训练结束。

对于这样一种多输入、单输出的基本单元可以进一步从生物化学、电生物学、数学等方面给出描述其功能的模型。利用大量神经元相互连接组成的人工神经网络，将显示出人脑的若干特征，人工神经网络也具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重wij值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。人工神经网络是一个具有学习能力的系统，可以发展知识，以至超过设计者原有的知识水平。通常，它的学习(或训练)方式可分为两种，一种是有监督(supervised)或称有导师的学习，这时利用给定的样本标准进行分类或模仿；另一种是无监督(unsupervised)学习或称无导师学习，这时，只规定学习方式或某些规则，而具体的学习内容随系统所处环境(即输入信号情况)而异，系统可以自动发现环境特征和规律性，具有更近似于人脑的功能。
在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经元激活函数、神经元之间的连接形式和网络的学习(训练)。

❻ 人工神经网络（ANN）简述

我们从下面四点认识人工神经网络（ANN: Artificial Neutral Network）：神经元结构、神经元的激活函数、神经网络拓扑结构、神经网络选择权值和学习算法。

1. 神经元：
我们先来看一组对比图就能了解是怎样从生物神经元建模为人工神经元。

下面分别讲述:
生物神经元的组成包括细胞体、树突、轴突、突触。树突可以看作输入端，接收从其他细胞传递过来的电信号；轴突可以看作输出端，传递电荷给其他细胞；突触可以看作I/O接口，连接神经元，单个神经元可以和上千个神经元连接。细胞体内有膜电位，从外界传递过来的电流使膜电位发生变化，并且不断累加，当膜电位升高到超过一个阈值时，神经元被激活，产生一个脉冲，传递到下一个神经元。

为了更形象理解神经元传递信号过程，把一个神经元比作一个水桶。水桶下侧连着多根水管（树突），水管既可以把桶里的水排出去（抑制性），又可以将其他水桶的水输进来（兴奋性），水管的粗细不同，对桶中水的影响程度不同（权重），水管对水桶水位（膜电位）的改变就是水桶内水位的改变，当桶中水达到一定高度时，就能通过另一条管道（轴突）排出去。

按照这个原理，科学家提出了M-P模型（取自两个提出者的姓名首字母），M-P模型是对生物神经元的建模，作为人工神经网络中的一个神经元。

由MP模型的示意图，我们可以看到与生物神经元的相似之处，x_i表示多个输入，W_ij表示每个输入的权值，其正负模拟了生物神经元中突出的兴奋和抑制；sigma表示将全部输入信号进行累加整合，f为激活函数，O为输出。下图可以看到生物神经元和MP模型的类比：

往后诞生的各种神经元模型都是由MP模型演变过来。

2. 激活函数
激活函数可以看作滤波器，接收外界各种各样的信号，通过调整函数，输出期望值。ANN通常采用三类激活函数:阈值函数、分段函数、双极性连续函数（sigmoid，tanh）：

3. 学习算法
神经网络的学习也称为训练，通过神经网络所在环境的刺激作用调整神经网络的自由参数（如连接权值），使神经网络以一种新的方式对外部环境做出反应的一个过程。每个神经网络都有一个激活函数y=f(x)，训练过程就是通过给定的海量x数据和y数据，拟合出激活函数f。学习过程分为有导师学习和无导师学习，有导师学习是给定期望输出，通过对权值的调整使实际输出逼近期望输出；无导师学习给定表示方法质量的测量尺度，根据该尺度来优化参数。常见的有Hebb学习、纠错学习、基于记忆学习、随机学习、竞争学习。

4. 神经网络拓扑结构
常见的拓扑结构有单层前向网络、多层前向网络、反馈网络，随机神经网络、竞争神经网络。

5. 神经网络的发展

（不能贴公式不好解释啊 -_-!）sigma是误差信号，yita是学习率，net是输入之和，V是输入层到隐含层的权重矩阵，W是隐含层到输出层的权重矩阵。

之后还有几种

随着计算机硬件计算能力越来越强，用来训练的数据越来越多，神经网络变得越来越复杂。在人工智能领域常听到DNN（深度神经网络）、CNN（卷积神经网络）、RNN（递归神经网络）。其中，DNN是总称，指层数非常多的网络，通常有二十几层，具体可以是CNN或RNN等网络结构。

参考资料 ：

❼ BP人工神经网络

人工神经网络（artificialneuralnetwork，ANN）指由大量与自然神经系统相类似的神经元联结而成的网络，是用工程技术手段模拟生物网络结构特征和功能特征的一类人工系统。神经网络不但具有处理数值数据的一般计算能力，而且还具有处理知识的思维、学习、记忆能力，它采用类似于“黑箱”的方法，通过学习和记忆，找出输入、输出变量之间的非线性关系（映射），在执行问题和求解时，将所获取的数据输入到已经训练好的网络，依据网络学到的知识进行网络推理，得出合理的答案与结果。

岩土工程中的许多问题是非线性问题，变量之间的关系十分复杂，很难用确切的数学、力学模型来描述。工程现场实测数据的代表性与测点的位置、范围和手段有关，有时很难满足传统统计方法所要求的统计条件和规律，加之岩土工程信息的复杂性和不确定性，因而运用神经网络方法实现岩土工程问题的求解是合适的。

BP神经网络模型是误差反向传播（BackPagation）网络模型的简称。它由输入层、隐含层和输出层组成。网络的学习过程就是对网络各层节点间连接权逐步修改的过程，这一过程由两部分组成：正向传播和反向传播。正向传播是输入模式从输入层经隐含层处理传向输出层；反向传播是均方误差信息从输出层向输入层传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使得误差信号最小。

BP神经网络模型在建立及应用过程中，主要存在的不足和建议有以下四个方面：

（1）对于神经网络，数据愈多，网络的训练效果愈佳，也更能反映实际。但在实际操作中，由于条件的限制很难选取大量的样本值进行训练，样本数量偏少。

（2）BP网络模型其计算速度较慢、无法表达预测量与其相关参数之间亲疏关系。

（3）以定量数据为基础建立模型，若能收集到充分资料，以定性指标（如基坑降水方式、基坑支护模式、施工工况等）和一些易获取的定量指标作为输入层，以评价等级作为输出层，这样建立的BP网络模型将更准确全面。

（4）BP人工神经网络系统具有非线性、智能的特点。较好地考虑了定性描述和定量计算、精确逻辑分析和非确定性推理等方面，但由于样本不同，影响要素的权重不同，以及在根据先验知识和前人的经验总结对定性参数进行量化处理，必然会影响评价的客观性和准确性。因此，在实际评价中只有根据不同的基坑施工工况、不同的周边环境条件，应不同用户的需求，选择不同的分析指标，才能满足复杂工况条件下地质环境评价的要求，取得较好的应用效果。

❽ 人工神经网络有什么特点不同模型有什么作用

人工神经网络是一种仿照人脑神经网络的模型，用于解决各种复杂的问题。它通常由输入层、隐藏层和输出层组成，并且可以通过训练来学习和改善解决问题的能力。
不同的人工神经网络模型可以用于解决不同类型的问题。例如，卷积神经网络可以用于图像识别，而循环神经网络可以用于语音识别和时间序列预测。