简介:关于神经网络算法方面的论文题目、论文提纲、神经网络算法论文开题报告、文献综述、参考文献的相关大学硕士和本科毕业论文。
王 平 江华丽 翁宗煌
（福建师范大学物理与光电信息科技学院福建350007）
摘 要：为了在资源有限的嵌入式系统中提高智能特性,需要研究开发具有较好逼近和泛化能力的、以及代码简单的神经网络.
本文采用具有很强全局寻优能力的遗传算法以及局部寻优能力较强的梯度下降法,结合两者的优点形成了一种神经网络混合优化算法.对遗传算法操作算子做了改进,能同时优化神经网络的结构和权值及阈值.仿真实验结果表明,该混合优化算法能够有效地对神经网络的结构和权值及阈值优化,优化后的神经网络有较好的逼近能力和泛化能力.
关键词：遗传算法梯度下降法神经网络
Research of the Improved Hybrid Optimizational Algorithm
on the Neural Network
WANG Ping, JIANG Huali ,WENG Zonghuang
( School of Physics and Optical Electronic Information Technology, Fujian Normal University, Fujian,350007 ,China)
Abstract:ln order to raise intelligent features in the embedded systems with limited resources, we need to research and develo Pwith agood approximation and generalization capabilities, as well as code for a simple neural network. In this article, we use a strong ability
.of overall optimization of genetic algorithm ,local optimization ability and strong gradient descent method, combined with the advantagesof both the formations of a hybrid optimization algorithm for neural networks. The genetic algorithm operators h论文范文e made improvements,it could optimize the neural network structure and weight values and thresholds at the same time. Simulation results show that the hybridoptimization algorithm can effectively improve neural network structure, weight and threshold optimization. The optimized neural net-work has good approximation capability and ability of generdlization.
Keywords:genetic algorithm, gradient descent method, neural network
1. 引言
神经网络因具有适应能力,学习能力和映射能力而应用广泛,但目前还没有一套完善的理论可以包罗各种应用.本设计针对嵌入式系统软硬件资源有限的特点,先在PC机上构建模型,经过改进和调试,最终将网络结构相对简单的、具有较好的逼近能力和泛化能力的代码移植到嵌入式系统.
对于神经网络权值的优化,以往大多是采用局部寻优能力较强的梯度下降法,但是容易陷入局部极小值,导致其全局寻优性能不高.而基于优胜劣汰、适者生存和基因遗传思想的遗传算法虽具有较好的全局寻优能力,但局部寻优能力不足[3].本文对遗传算法操作算子做了改进,并结合遗传算法和梯度下降法的优点,形成了一种神经网络混合优化算法,能同时优化神经网络的结构和权值及阈值.
2.改进遗传算法
2.1编码方式
对于严格分层全连接的多层前馈神经网络,仅需确定隐层的个数以及每层的神经元个数,为了编码和解码方便,结构采用二进制编码,其串长表示神经元个数,其算术和表示有效神经元个数.但权值和阈值学习是一个复杂的连续函数优化问题,不需要编码和解码,故直接用实数表示.这种采用二进制与十进制相结合的编码方案[6],如图1所示.
2.2适应度函数的选取
为了实现网络结构和网络权值及阈值的同步进化,在同等网络逼近能力的条件下构造出相对简单的网络结构,本文提出如下的适应度函数表达式：f等于 ae-(6xE+cx),为了将个体的差别放大,便于比较,a-般取比较大的值.
2.3遗传操作算子
遗传算法的三个基本操作算子分别为：交叉、变异和选择.对于二进制编码部分,可利用已有的遗传操作算子,但对于实数编码部分,需重新设计遗传算子[7].
2.3.1 交叉算子
首先在整个父代种群中随机两两配对,然后以交叉概率p对父代个体对进行交叉操作.对二进制编码部分采用单点交叉算子,实数编码部分采用算术交叉算子.
假设x,y分别为被选中进行交叉操作的父代个体对X,Y,的实数编码部分,交叉操作后子代个体对X’,Y’的实数编码部分为X’,y’.若个体X的适应度比个体Y,的适应度大,即F(X）>,F(y）为当代群体中的最大适应度值,为当代群体中的 最小适应度值,fM为要交叉的两个父代个体中适应度值较大的一个.
2.3.2 变异算子
对每个父代个体以变异概率Pm进行变异操作.对于二进制编码部分采用均匀变异；对于实数编码部分采用自适应变异.
设x为被选中进行变异操作的父代个体X的实数编码部分,则变异操作后子代个体对X 的实数编码部分为为要
rmn变异的父代个体X的适应度值,rnd(0,1)为[0,1]之间的随机数.
2.3.3选择算子
本文只进行一次选择操作,即以交叉概率对父代个体对进行交叉操作,同时以变异概率Pm对每个父代个体进行变异操作.
2.4 交叉率和变异率的确定
为了在尽量不破坏适应度高的个体同时还能保证群体的多样性,宜采用自适应交叉率和自适应变异率.在进化的初期,应加大pC和pM,加快新个体的产生,增加物种的多样性,防止算法早熟；而在进化的后期,应减小pV和pM,使种群趋于收敛.同时,为了保证算法收敛,将交叉率pC限制在[0.5,1]范围内,变异
2.5
BP算子
对于经过选择操作后的种群中的最优个体执行BP算法,采用梯度下降法修改最优个体中的网络权值及阈值.以上述三层前馈网络为例,N为学习率,p为训练样本模式数,对于输出层,权值隐层第J个神经元的激活函数的导数.
3.神经网络优化算法实现步骤
(1)给定网络的训练样本集[8],输入模式为{X1,X2,等,X},对应的目标输出为{d1,d2,等,d9}；
(2)设置所有参数,种群的规模Ⅳ,隐层的个数H,隐层神经元最大个数m,网络误差系数6,网络复杂性系数c,适应度函数里的放大系数o,选择策略中的数量n,交叉概率中的K,、变异概率中K：,BP算法中的学习率N,网络期望误差E,最大进化代数T,
(3)以设定的种群规模,v随机产生初始种群；
(4)对初始种群中每个编码个体进行解码,由训练样本集经前向传播算法求得对应个体的网络实际输出,从而计算出每个个体的学习误差和适应度值；
(5)整个种群随机两两配对,以交叉概率pC对父代个体对进行交叉操作,同时以变异概率p.对每个父代个体进行变异操作,产生交叉子代和变异子代；
(6)对交叉子代和变异子代中每个编码个体进行解码,由训练样本集经前向传播算法求得对应个体的网络实际输出,从而计算出每个个体的学习误差和适应度值；
(7)采用优秀个体保护和两两竞争的选择策略,在交叉子代和变异子代中选择Ⅳ个编码个体,得到论文范文种群；
(8)对最优个体进行解码,然后进行BP算子操作,修改最优个体中的网络权值及阈值,得到新最优个体；
(9)计算新最优个体对应网络的学习误差和适应度值,并将其替代原来的最优个体.
(10)遗传进化是否达到最大进化代数T,满足条件继续,否则转到步骤(5),
(11)新最优个体对应网络的权值及阈值作为神经网络的初始值,网络结构不变,采用拟牛顿LM算法,对网络的权值及阈值进行梯度下降法训练.
(12)判断误差是否小于指定的网络期望误差满足条件继续,否则转到步骤(ll)；
(13)输出优化后的神经网络结构和权值及阈值.
4.仿真实验
本文采用函数逼近法来验证算法的效果,这里引用文献[9]的非线性函数作为仿真对象.f等于(sinx,+e2)/3, XI∈(0,20),X2∈(0,2).
在两个变量x1、X2的取值范围内随机选取样本数据对和测试数据对各60对.取种群规模为80,最大进化代数100,网络复杂系数为c等于0. 001,适应度放大系数为100,BP算法学习率为0.8,交叉变率Kl为100,K2为50,选择策略中的数量n为4.采用本文算法对网络进行优化设计,运行9次,结果如表l所示,各种算法对比如表2所示.从以上两表可以看出,本文算法具有较强的鲁棒性,基本上都收敛接近于最优解.
5.结束语
本文对遗传算法操作算子做了改进,并结合遗传算法和梯度下降法的优点,形成了一种神经网络混合优化算法.实验结果表明,该混合优化算法能够有效地确定神经网络的结构和权值及阈值,所得神经网络有较好的逼近能力和泛化能力,因而该算法是可行有效的.
参考文献
[1]刘华眷,基于Elman神经网络的股市决策模型[J]．计算机应用,2009,29(6)：152 -154
[2]王平,江华丽,嵌入式网络终端的神经网络邮件过滤技术设计[J].福建师范大学学报,2009,25(5)：45 -49
[3]包红军,李致家,王莉莉．降雨径流模拟神经网络模型及应用[J].西安建筑科技大学学报,2009,41(5)：719 -722
神经网络:翁国栋_神经网络算法在CMB研究中的应用(20160519)
[4]张小刚,蒋程,韩军锋．基于神经网络的变压器故障智能检测与分析[J].电气开关,2009,(5)：31 - 34
[5]张宏斌,贾志新,基于逆向思维的系统可靠性精确分配模型[J]．计算机应用,2009,29(9)：2468 -2470
[6]镇方雄,李跃新．基于改进遗传算法的神经网络优化[J].湖北大学学报,2006,28(4)：345 -349
[7]马芳芳,基于实数编码遗传算法的神经网络优化设计[J].微处理机,2008,3：107 - 112
[8]李春好,刘成明,才淦．前馈神经网络病态学习样本剔除方法[J].吉林大学学报,2009,27(5)：514 -519
[9]叶德谦,康建红．基于实数编码遗传算法的前向神经网络优化设计[J].计算机工程,2005,31( 16)：163 - 164
[10]杨大力,刘舒,基于神经网络的车牌汉字识别方法[J].中国人民论文范文大学学报,2009,61(3)：56 -58
作者简介
王平,（1955 -）,男,福建福州人,高级工程师,主要研究通信与信息系统,嵌入式系统等.
总结：本文关于神经网络算法论文范文,可以做为相关论文参考文献,与写作提纲思路参考。
神经网络引用文献:
[1] 温湿度和神经网络算法学年毕业论文范文 关于温湿度和神经网络算法类硕士毕业论文范文8000字
[2] 神经网络算法和人才培养方案论文例文 神经网络算法和人才培养方案论文参考文献范文2500字
[3] lstm和神经网络算法本科毕业论文范文 lstm和神经网络算法方面学术论文怎么写2万字
