bp神经网络的缺点

1)局部极小化问题：从数学角度看，传统的BP神经网络为一种局部搜索的优化方法，它要解决的是一个复杂非线性化问题，网络的权值是通过沿局部改善的方向逐渐进行调整的，这样会使算法陷入局部极值，权值收敛到局部极小点，从而导致网络训练失败。

加上BP神经网络对初始网络权重非常敏感，以不同的权重初始化网络，其往往会收敛于不同的局部极小，这也是很多学者每次训练得到不同结果的根本原因。

2)BP神经网络算法的收敛速度慢：由于BP神经网络算法本质上为梯度下降法，它所要优化的目标函数是非常复杂的，因此，必然会出现“锯齿形现象”，这使得BP算法低效；又由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿。

3)BP神经网络结构选择不一：BP神经网络结构的选择至今尚无一种统一而完整的理论指导，一般只能由经验选定。

网络结构选择过大，训练中效率不高，可能出现过拟合现象，造成网络性能低，容错性下降，若选择过小，则又会造成网络可能不收敛。而网络的结构直接影响网络的逼近能力及推广性质。

因此，应用中如何选择合适的网络结构是一个重要的问题。

4)应用实例与网络规模的矛盾问题：BP神经网络难以解决应用问题的实例规模和网络规模间的矛盾问题，其涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题。

5)BP神经网络预测能力和训练能力的矛盾问题：预测能力也称泛化能力或者推广能力，而训练能力也称逼近能力或者学习能力。一般情况下，训练能力差时，预测能力也差。

谷歌人工智能写作项目：神经网络伪原创

SOFM神经网络的缺点

神经网络具有很强的并行性和适应性，可以应用于控制、信息、预测等许多领域好文案。蚁群算法首先成功应用于旅行商问题，然后被广泛应用于各种组合优化问题。但是算法的理论基础比较薄弱，算法的收敛性没有得到证明。

很多参数只是凭经验设定，实际效果一般，使用起来往往不成熟。遗传算法是一种成熟的算法，具有很强的全局优化能力，能够快速逼近最优解。主要用于解决组合优化的NP问题。这三种算法可以相互集成。

例如，遗传算法可以优化神经网络的初始权重，防止神经网络训练陷入局部最小值，加快收敛速度。蚁群算法也可以用来训练神经网络，但必须使用优化的蚁群算法，如max-min蚁群算法和精英保留策略。

RBF神经网络的缺点！

1.RBF 的泛化能力在多个方面都优于BP 网络, 但是在解决具有相同精度要求的问题时, BP网络的结构要比RBF 网络简单。

2. RBF 网络的逼近精度要明显高于BP 网络,它几乎能实现完全逼近, 而且设计起来极其方便, 网络可以自动增加神经元直到满足精度要求为止。

但是在训练样本增多时, RBF 网络的隐层神经元数远远高于前者, 使得RBF 网络的复杂度大增加, 结构过于庞大, 从而运算量也有所增加。

3. RBF神经网络是一种性能优良的前馈型神经网络，RBF网络可以任意精度逼近任意的非线性函数，且具有全局逼近能力，从根本上解决了BP网络的局部最优问题，而且拓扑结构紧凑，结构参数可实现分离学习，收敛速度快。

4. 他们的结构是完全不一样的。BP是通过不断的调整神经元的权值来逼近最小误差的。其方法一般是梯度下降。

RBF是一种前馈型的神经网络，也就是说他不是通过不停的调整权值来逼近最小误差的，的激励函数是一般是高斯函数和BP的S型函数不一样，高斯函数是通过对输入与函数中心点的距离来算权重的。

5. bp神经网络学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的。

而rbf神经网络是种高效的前馈式网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。

BP神经网络的核心问题是什么?其优缺点有哪些?

人工神经网络,是一种旨在模仿人脑结构及其功能的信息处理系统,就是使用人工神经网络方法实现模式识别.可处理一些环境信息十分复杂,背景知识不清楚,推理规则不明确的问题,神经网络方法允许样品有较大的缺损和畸变.神经网络的类型很多,建立神经网络模型时,根据研究对象的特点,可以考虑不同的神经网络模型. 前馈型BP网络,即误差逆传播神经网络是最常用,最流行的神经网络.BP网络的输入和输出关系可以看成是一种映射关系,即每一组输入对应一组输出.BP算法是最著名的多层前向网络训练算法,尽管存在收敛速度慢,局部极值等缺点,但可通过各种改进措施来提高它的收敛速度,克服局部极值现象,而且具有简单,易行,计算量小,并行性强等特点,目前仍是多层前向网络的首选算法.多层前向BP网络的优点：网络实质上实现了一个从输入到输出的映射功能，而数学理论已证明它具有实现任何复杂非线性映射的功能。

这使得它特别适合于求解内部机制复杂的问题；网络能通过学习带正确答案的实例集自动提取“合理的”求解规则，即具有自学习能力；网络具有一定的推广、概括能力。

多层前向BP网络的问题：从数学角度看，BP算法为一种局部搜索的优化方法，但它要解决的问题为求解复杂非线性函数的全局极值，因此，算法很有可能陷入局部极值，使训练失败；网络的逼近、推广能力同学习样本的典型性密切相关，而从问题中选取典型样本实例组成训练集是一个很困难的问题。

难以解决应用问题的实例规模和网络规模间的矛盾。这涉及到网络容量的可能性与可行性的关系问题，即学习复杂性问题；网络结构的选择尚无一种统一而完整的理论指导，一般只能由经验选定。

为此，有人称神经网络的结构选择为一种艺术。而网络的结构直接影响网络的逼近能力及推广性质。

因此，应用中如何选择合适的网络结构是一个重要的问题；新加入的样本要影响已学习成功的网络，而且刻画每个输入样本的特征的数目也必须相同；网络的预测能力（也称泛化能力、推广能力）与训练能力（也称逼近能力、学习能力）的矛盾。

一般情况下，训练能力差时，预测能力也差，并且一定程度上，随训练能力地提高，预测能力也提高。但这种趋势有一个极限，当达到此极限时，随训练能力的提高，预测能力反而下降，即出现所谓“过拟合”现象。

此时，网络学习了过多的样本细节，而不能反映样本内含的规律由于BP算法本质上为梯度下降法，而它所要优化的目标函数又非常复杂，因此，必然会出现“锯齿形现象”，这使得BP算法低效；存在麻痹现象，由于优化的目标函数很复杂，它必然会在神经元输出接近0或1的情况下，出现一些平坦区，在这些区域内，权值误差改变很小，使训练过程几乎停顿；为了使网络执行BP算法，不能用传统的一维搜索法求每次迭代的步长，而必须把步长的更新规则预先赋予网络，这种方法将引起算法低效。

最小二乘法、回归分析法、灰色预测法、决策论、神经网络等5个算法的使用范围及优缺点是什么？

最小二乘法：通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。优点：实现简单，计算简单。缺点：不能拟合非线性数据.回归分析法：指的是确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法。

在大数据分析中，回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。这种技术通常用于预测分析，时间序列模型以及发现变量之间的因果关系。

优点：在分析多因素模型时，更加简单和方便，不仅可以预测并求出函数，还可以自己对结果进行残差的检验，检验模型的精度。

缺点：回归方程式只是一种推测，这影响了因子的多样性和某些因子的不可测性，使得回归分析在某些情况下受到限制。灰色预测法：色预测法是一种对含有不确定因素的系统进行预测的方法 。

它通过鉴别系统因素之间发展趋势的相异程度，即进行关联分析，并对原始数据进行生成处理来寻找系统变动的规律，生成有较强规律性的数据序列，然后建立相应的微分方程模型，从而预测事物未来发展趋势的状况。

它用等时间距离观测到的反应预测对象特征的一系列数量值构造灰色预测模型，预测未来某一时刻的特征量，或者达到某一特征量的时间。优点：对于不确定因素的复杂系统预测效果较好，且所需样本数据较小。

缺点：基于指数率的预测没有考虑系统的随机性，中长期预测精度较差。

决策树：在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。

由于这种决策分支画成图形很像一棵树的枝干，故称决策树。在机器学习中，决策树是一个预测模型，他代表的是对象属性与对象值之间的一种映射关系。

优点：能够处理不相关的特征；在相对短的时间内能够对大型数据源做出可行且效果良好的分析；计算简单，易于理解，可解释性强；比较适合处理有缺失属性的样本。

缺点：忽略了数据之间的相关性；容易发生过拟合（随机森林可以很大程度上减少过拟合）；在决策树当中,对于各类别样本数量不一致的数据，信息增益的结果偏向于那些具有更多数值的特征。

神经网络：优点：分类的准确度高；并行分布处理能力强,分布存储及学习能力强，对噪声神经有较强的鲁棒性和容错能力，能充分逼近复杂的非线性关系；具备联想记忆的功能。

缺点：神经网络需要大量的参数，如网络拓扑结构、权值和阈值的初始值；不能观察之间的学习过程，输出结果难以解释，会影响到结果的可信度和可接受程度；学习时间过长,甚至可能达不到学习的目的。

深度学习有哪些优点和缺点

深度学习的主要优点如下：1：学习能力强深度学习具备很强的学习能力。2：覆盖范围广，适应性好深度学习的神经网络层数很多，宽度很广，理论上可以映射到任意函数，所以能解决很复杂的问题。

3：数据驱动，上限高深度学习高度依赖数据，数据量越大，它的表现就越好。在图像识别、面部识别、NLP 等领域表现尤为突出。

4：出色的可移植性由于深度学习的优异表现，很多框架都可以使用，而且这些框架可以兼容很多平台。深度学习的缺点：只能提供有限数据量的应用场景下，深度学习算法不能够对数据的规律进行无偏差的估计。

为了达到很好的精度，需要大数据支撑。由于深度学习中图模型的复杂化导致算法的时间复杂度急剧提升，为了保证算法的实时性，需要更高的并行编程技巧和更多更好的硬件支持。

因此，只有一些经济实力比较强大的科研机构或企业，才能够用深度学习来做一些前沿而实用的应用。

神经网络的泛化能力差吗？

泛化能力，英文全称generalization ability，指机器学习算法对新鲜样本的适应能力，一种预测新的input类别的能力。

通过学习找到隐含在数据背后的规律，并对具有同一规律的学习集以外的数据，这种经过训练的网络可以给出合适的输出，该能力就被称为泛化能力。

对于神经网络而言，一般越复杂说明该神经网络承受的复杂度越高，描述规律的复杂度容量就越大，当然越好，当然也不是绝对的，但是这能说明一个容器容量的问题，这时该神经网络的泛化能力也越强。

我们需要知道结构复杂性和样本复杂性、样本质量、初始权值、学习时间等因素，都会影响神经网络的泛化能力。

为了保证神经网络具有较强的泛化能力，人们已做了很多研究，得到了诸多泛化方法，常用的包括剪枝算法、构造算法和进化算法等。人工神经网络的泛化能力主要是由于透过无监督预学习可以从训练集导出高效的特征集。

复杂的问题一旦转换成用这些特征表达的形式后就自然变简单了。观念上这个有点像是在做适用于训练集的一种智能化的坐标转换。

举例来说，如果训练集是许多人脸的图片，那么预训练做得好的话就能导出如鼻子，眼睛，嘴巴，各种基本脸型等特征。如果做分类时是用这些特征去做而不是基于像素的话，结果自然会好得多。

虽然大型的神经网络具有极多的参数，可是由于做分类时其实是基于少数的特征，因此也比较不会产生过拟合的情形。

同时，针对神经网络易于陷入局部极值、结构难以确定和泛化能力较差的缺点，引入了能很好解决小样本、非线性和高维数问题的支持向量回归机来进行油气田开发指标的预测。

TensorFlow的优势和缺点有哪些

TensorFlow框架的前身是Google的DistBelief V2，是谷歌大脑项目的深度网络工具库，一些人认为TensorFlow是借鉴Theano重构的。

Tensorflow一经开源，马上引起了大量开发者的跟进。Tensorflow广泛支持包括图像、手写字、语音识别、预测和自然语言处理等大量功能。TensorFlow遵循Apache 2.0开源协议。

TensorFlow在2017年2月15号发布了其1.0版本，这个版本是对先前八个不完善版本的整合。

以下是TensorFlow取得成功的一些列原因：TensorFLow提供这些工具：TensorBroad是一个设计优良的可视化网络构建和展示工具；TensorFlow Serving通过保持相同的服务器架构和API，可以方便地配置新算法和环境。

TensorFlow Serving 还提供开箱即用的模型，并且可以轻松扩展以支持其他的模型和数据。

TensorFlow编程接口包括Python和C++，Java，Go，R和Haskell语言的接口也在alpha版中支持。另外，TensorFlow还支持谷歌和亚马逊的云环境。

TensorFlow的0.12版本支持Windows 7, 8， Server 2016系统。由于采用C++ Eigen库，TensorFlow类库可以在ARM架构平台上编译和优化。

这意味着你可以不需要额外实现模型解码器或者Python解释器就可以在多种服务器和移动设备上部署训练好的模型。

TensorFlow提供细致的网络层使用户可以构建新的复杂的层结构而不需要自己从底层实现它们。子图允许用户查看和恢复图的任意边的数据。这对复杂计算的Debug非常有用。

分布式TensorFlow在0.8版本推出，提供了并行计算支持，可以让模型的不同 部分在不同设备上并行训练。

TensorFlow在斯坦福大学，伯克利学院，多伦多大学和Udacity（2016年3月成立的在线学校）均有教学。

TensorFlow的缺点有：每个计算流必须构建成图，没有符号循环，这样使得一些计算变得困难；没有三维卷积，因此无法做视频识别；即便已经比原有版本（0.5）快了58倍，但执行性能仍然不及它的竞争者。

人工智能和神经网络有什么联系与区别？

联系：都是模仿人类行为的数学模型以及算法。神经网络的研究能促进或者加快人工智能的发展。

区别如下：一、指代不同1、人工智能：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。

2、神经网络：是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。

二、方法不同1、人工智能：企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

2、神经网络：依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。三、目的不同1、人工智能：主要目标是使机器能够胜任一些通常需要人类智能才能完成的复杂工作。

2、神经网络：具有初步的自适应与自组织能力。在学习或训练过程中改变突触权重值，以适应周围环境的要求。同一网络因学习方式及内容不同可具有不同的功能。

参考资料来源：百度百科-人工智能参考资料来源：百度百科-神经网络。

脉冲神经网络和非脉冲神经网络各有什么优缺点

度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构，通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习的概念由Hinton等人于2006年提出，基于深信度网(DBN)提出非监督贪心逐层训练算法，为解决深层结构相关的优化难题带来希望，随后提出多层自动编码器深层结构。

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。

系统地论述了神经网络的基本原理、方法、技术和应用，主要内容包括：神经信息处理的基本原理、感知器、反向传播网络、自组织网络、递归网络、径向基函数网络、核函数方法、神经网络集成、模糊神经网络、概率神经网络、脉冲耦合神经网络、神经场理论、神经元集群以及神经计算机。

每章末附有习题，书末附有详细的参考文献。神经网络是通过对人脑或生物神经网络的抽象和建模，研究非程序的、适应性的、大脑风格的信息处理的本质和能力。

它以脑科学和认知神经科学的研究成果为基础，拓展智能信息处理的方法，为解决复杂问题和智能控制提供有效的途径，是智能科学和计算智能的重要部分。