本数据。在训练过程中又需教师的监督,故这种有教师的学习又称监督式学习。
有教师学习方法虽然简单,但是要求教师对环境和网络的结构应该比较熟悉,当系统复杂,环境变化时,就变得困难。为了适应环境变化就要重新调整加权值,这样,当学习到新知识的同时,也容易忘掉已学过的旧知识,这一些是有教师学习方法的缺点。
2、无教师学习
无教师学习的训练数据集中,只有输入而没有目标输出,训练过程神经网络自动地将各输入数据的特征提取出来,并将其分成若干类。经过训练好的网络能够识别训练数据集以外的新的输入类别,并相应获得不同的输出。显然,无教师的训练方式可使网络具有自组织和自学习的功能。
2.4.3神经网络的学习规则
人类高度发展的智能,主要是通过学习获得的。要模拟人脑神经系统的学习功能,必须使得人工神经网络具有学习功能。因此,有关神经网络的学习算法的研究一直占有特殊的地位。
神经网络中常用的有四种学习规则:
1、联想式学习Hebb规则。
2、误差传播式学习Delta学习规则。
3、概率式学习。
4、竞争式学习。
第3章前馈多层网络结构及其BP学习算法
3.1前向多层网络的结构及BP学习算法
前向网络是目前研究最多的网络形式之一。如图3-1所示,在此模式中,共有三层神经元,每层由若干节点组成,第k层的每个节点与第k+1层的每个节点连接。第一层为输入层;第二层为中间层,又称为隐层;最后一层为网络的输出层。其结构可以表示为:n-q-m网络,n为输入层节点数,q为隐含层节点数,m为输出层节点数。每个连接对应一个权值,通过修正这些权值"学习"或"训练"网络,从而修正输入到输出映射的网络函数。
输入单元的活性(状态)代表输入此网络中的原始信息。每个隐单元的活性取决于输入单元的活性及该输入单元与隐单元之间联接权值。同样输出单元的行为取决于隐单元的活性及隐单元和输出单元之何的权值。
上述网络的信息传播是由输入单元传到隐单元,最后传到输出单元。这种含有隐层的前向网络有一个重要特征,即隐单元可以任意构成它们自身的输入表示,输入单元和隐单元间的权值决定每个隐单元何时是活性的,因此,借修改这些权值,一个隐单元可以选择它代表什么。
图3-1 BP网络结构
BP(Back Propagation)算法是误差反向传播算法,网络的学习由四部分组成:
1、 输入模式由输入层经向输出层的模式顺传播过程。
2、 网络的希望输出与网络实际输出之间的误差信号,由输出层经中间层向输入层的误差逆传播过程。
3、 由模式顺传播与误差逆传播反复交替进行的网络记忆训练过程。
4、 网络趋向收敛即网络的全局误差趋向极小值的学习收敛过程。
3.2 BP网络误差反向传播学习算法的基本思想
为了研究神经网络是怎样从经验中学习的,我们应该首先向网络提供一些训练例子,并可以通过下述方法,能教会一个三层前向网络完成某个特定的任务。其方法步
骤如下:
(1)向网络提供训练例子,包括输入单元的活性模式和期望的输出单元活性模式;
(2)确定网络的实际输出与期望输出之间允许的误差;
(3)改变网络中所有联接权值,使网络产生的输出更接近于期望的输出,直到满足确定的允许误差。
下面以网络识别数字为例说明上述方法。比如使用64个传感器组成传感器阵列,每个传感器记录一个数字的一小部分面积内是否有笔写的墨迹存在。因此,网络需要64个输入单元(每个传感器一个),10个输出单元(每种数字一个)和许多隐单元。为便于传感器记录每种数字,网络应在适当的输出单元中产生高活性,并在其它输单元中产生低的活性。
为了训练此网络,提供一幅某个数字的图像并把10个输出单元的实际活性和期望活性加以比较,然后计算误差,将实际活性与期望活性差值的平方定义为误差。其次,改变网络中所有联接权值以减少误差。针对每种数字的多种不同图像重复训练,直到网络能对每个数字正确地归类为止。
实现上述训练过程的关键是必须改变的每个权值,且其变化量应正比于权值改变时误差的变化率,此量称权值的误差导数,简记为EW。但是,要对EW的有效计算是十分复杂棘手的问题。如果采取稍许扰动每个权值,并观察误差如何变化,这种方法效率太低,因为要求对每一个权值都要单独加扰动。
1979年前后,正在哈佛大学攻读博士的Werbos发明了一种高效的计算EW的方法,即误差反向传播算法,只因发明后多年来未受重视,也没有充分体会到它的用处,直到1985年Rumelhart和Par
上一篇:
基于VC++的数字识别系统的论文(2)(2003doc)
下一篇:
采用VC的伺服电机控制毕业论文(2003doc)