文档库 最新最全的文档下载
当前位置:文档库 › 一个神经网络控制系统的稳定性判据的方法

一个神经网络控制系统的稳定性判据的方法

一个神经网络控制系统的稳定性判据的方法
一个神经网络控制系统的稳定性判据的方法

摘要:本文讨论了基于李雅普诺夫方法分析神经网络控制系统的稳定性。首先,文章指出神经网络系统的动态可以由视为线性微分包含(LDI)的一类非线性系统表示。其次,对于这类非线性系统的稳定条件是推导并利用单神经系统和反馈神经网络控制系统的稳定性分析。此外,用图形方式显示非线性系统参数位置的这种参数区域表示方法(PR)提出了通过引入新的顶点和最小值的概念。从这些概念上可以推导出一个能有效地找到李雅普诺夫函数的重要理论。单个神经的神经系统的稳定性标准时由参数区域来决定的。最后,分析了包括神经网络设备和神经网络控制器为代表的神经网络控制系统的稳定性。

1.介绍

最近,已经有很多关于神经网络的自适应控制的研究,例如:在机器人领域,川户提出了一种使用的学习控制系统,控制系统的一项关键指标就是他的稳定性,然而分析像基于神经网络的控制系统这样的非线性系统的稳定性是非常难的。

Nguyen和Widrow 设计了一种在电脑上模拟卡车拖车的神经网络控制器。这个设计主要分为两大部分。第一部分是通过神经网络来学习设备的动态,这一部分被称为“仿真器”。第二部分是通过最小化的性能函数来计算出神经网络网络控制器的参数(权值)。但是,他们没有分析神经网络控制系统的稳定性。一项稳定性分析标准工具讲有利于神经网络控制应用到许多实际问题中。

最近,这类可被视为线性微分包含(LDI)的非线性系统的稳定条件已经被作者推导出来,再引用的[7][8]中讨论了。其中一项保证LDI稳定的充分条件与李雅普诺夫稳定性定理是相一致的。本文应用LDI的稳定条件和Nguyen与Widrow的方法来分析神经网络系统的稳定性。文中选取了一种代表神经网络状态的方法。此外,我们表明包含由近似于神经网络设备和神经网络控制器组成的神经网络反馈控制系统也可以分析神经网络是否能稳定。这意味着,本文提出的稳定条件可以分析神经网络反馈控制系统。本文的构成如下:第二节展示了一种文中的神经网络系统。第三节给出了LDI的稳定条件。第四节提出了一个以图形方式显示LDI参数的参数区域表示方法(PR)并推导出一个有效导出李雅普诺夫函数的重要定理。第五节阐述了神经网络系统的LDI表示方法。第六节介绍了用PR方法表示单神经系统和神经网络反馈系统的稳定标准。

2.神经控制系统

假设一个神经网络函数是

x(k + I) =P( x ( k )u, (k)),

他的神经网络反馈控制系统的函数是:x(k + 1) = P(x(k),u(k)) 和

u(k) = C(x(k)),其中x(k)是实属范围内的状态向量,u(k)是实属范围内的输入向量。P和C分别表示神经网络设备和神经网络控制器的非线性传递函数。如图1,显示了一个单一的神经网络系统和神经网络反馈控制系统。假设每个神经元的输出函数f ( u )都是可微分的,在k > 0的情况下,我们可以得到:f ( 0 ) = 0,

f(v)∈[-k,k],对于所有的v都成立

此外,假设所有的传递权重都已经被学习方法所确定了,例如反向传播神经网络在神经网络控制稳定性分析之前。在一个单一的神经网络系统中,因为我们分析神经网络系统的动态平衡稳定性,所以设定. u(k) = 0。

图1.神经网络:(a )单一神经网络,(b )反馈神经网络

3.一类非线性系统的稳定条件

让我们分析以下这类非线性系统

1x(k + 1) = ((k))x(k),

((k))=(())r

i i i h k =∑A z A z z A (1)

其中r 是一个正实数,在z (k )是一个向量,同时:

T

12()[n x k x k x k x k =(),(),…,()],

1()~()n x k x k 是状态变量。 1

(())((k))=1.r

i i i h z k h z =≥0, ∑

注3.1:像公式(1)代表的这类非线性系统我们可以把它看做LDI 。大多数情况,对于

LDI 的特性,我们可以用代替(())i h z k ,因此我们后面用()i h k ()i h k 来表示。这类系统还包含了在模糊控制领域中流行的Takagi 和Sugeno 的模型,所以下面的稳定性条件 讨论也适用于模糊控制。

下面给出了一个满足公示(1)的稳定条件。 定理3.1:公式(1)描述的LDI 的稳定平衡在大范围内渐进稳定的条件是存在一个通用正定矩阵满足:

A P T i i -

对于i=1,2,···,r 成立。

这个定理简化了李雅普诺夫稳定性定理对于r=1是的线性离散系统的情况。当然,定理3.1给出了一个是公式(1)的系统稳定的

充分条件。我们可以直观的认为当所有的

i A 都是稳定矩阵,公式(1)的系统是全局

稳定的。但是,一般情况下这是不正确的,因为公式(1)的系统不总是大范围渐进稳定的,即使所有的i A 都是稳定矩阵。 为了使公式(1)代表的系统稳定,我们必须找到一个通用矩阵P 满足

A P T

i

i -

对于所有的 i 都成立。通过研究我们已经可以找到这样的通用正定

矩阵P 。接下来,我们就要给出这个满足公式(2)的正定矩阵P 存在的必要条件。 定理3.2;假设存在一个稳定矩阵矩阵i A ,其中i=1,2,···,r 。存在一个正定矩阵P 使得

A P T i i -

i A A j为稳定矩阵,其中i ,j=1,2,···,r ,。

反过来,这个定理说明:只要i A A j中存一个不是稳定矩阵,就不存在满足公示(2)的矩阵P 。

4. 参数区域表示方法(PR )

我们提出对于公示(1)系统的PR 的概念。PR 可以通过图表显示出LDI 的参数。下面是两个例子。

例4.1: 让我们分析下面的LDI (LDI-1)

3

1

(1)()()

i i i k h k x k =+=∑x A

其中:

3

1T 123()1,

0.10.10.30.10.10.3101010()()[()(1)],

,,i i i h h k k k x k x k ==≥0,=-??????=== ? ? ???????∑x A A A .

这个LDI 系统也可以表示为:

∑=-+=+3

1

)}1()(){()1(i i i i k x b k x a k h k x

其中:a1 = 0.1,bl = 0.1, a2 = 0.3,b2 = 0.1, a3 = 0.1,b3 = 0.3.

图2显示了LDI 的参数区域数值,其中其中点1,2,3分别代表了321A A A ,, 例4.2:让我们假设另一个LDI 系统LDI-2,

∑==+5

1

)()()1(x i i k k h k x A i ,其中:

,0115.015.0,012.02.0,013.01.0,011.03.0,011.01.0)],

1()([)(,

1)(,0)(54325

1

??

????=??????=??

????=??????=??????=-==≥∑=A A A A A x 1T k x k x k k h k h i i i

相似的,LSI 可以等效为:

∑=-+=+5

1

)}1()(){()1(i i i i k x b k x a k h k x ,

此时:a1= 0.1, bl = 0.1, a2 = 0.3, b2 = 0.1, a3 = 0.1, b3 = 0.3, a4 = 0.2, b4 = 0.2, a5 = 0.15, b5 = 0.15.

这个LDI 系统的区域参数表示如图3所示。 我们发现,尽管图2和图3中区域参数的区域是相同的的,但是LDI-1和LDI-2区域参数是不同的。在图2中,每个点正好对应一个顶点。但是在图3中,点1,2,3构成了参数区域,而点4,5包含在区域内。 注解4.1: 在2*2的矩阵A 中,PR 一般是四维的,因为在每个这样的矩阵中都有四个要素,例如:

??

??

??=i i i i

d c b a i A

PR 的例4.1和4.2是二维的,因为

0d 1c i i ==,,对于所有的i 都成立。

下面定义顶点和最小单位。 定义4.1(顶点): 图2中PR 的顶点1,2,3就是被定义为顶点的321A A A ,,。 定义4.2(最小单位):一个有且只有顶点的非线性系统被称为最小单位。

明显的,前面的LDI-1是最小单位,LDI-2不是最小单位。下面,给出一个检查是否为最小单位系统的稳定性的重要定理。

定理4.1:假设存在一个正定矩阵。如果

A P T i i -

=1.0,,∑∑==≥=r

i i i r

i i s s 1

1

i *

s A A

证明过程已经在附录中给出。可以注意到

*A 并不是一个顶点矩阵。定理4.1指出LDI

系统的稳定性可以通过对一个最小单位应用定理3.1而检验得出。

3240.5A A 5.0A +=

32150.25A 0.25A 0.5A A ++=

因此,LDI-2的最小单位与LDI-1的相同。从定理4.1可以得出如果LDI-1稳定则LDI-2

稳定。后面将定理4.1应用到例子6.4和6.6中。

5.神经网络的LDI 表示方法

A.简单的神经网络

用LDI 来表示神经网络系统的动力并应用定理3.1来分析神经网络的稳定性是非常重要的。在这一章节中,提出了用LDI 表示神经网络动力系统的过程。接下里以图4中的简单神经网络为例。这个神经网络是由一个单一的层组成,函数是:

(5)

(4))()1(),1()(21v f k x k w k x w v =+-+=

其中21w w 和是权值。假定输出函数f (v )是一个Sigmoid 函数。

??

??

?

? ??--+=1)ex p(12

)(q v v f λ

其中q 和x 是函数的参数并且 q 和v>0.图5表

示的是sigmoid 函数。在本文中,稳定性准则适用于一切x>0的情况,于是假设x=1。如图5,输出函数满足:

)(0)(1221≤≤≤≥≤≤v v g v f v g v v g v f v g

图2.LDI-1的参数区域

其中21g g 和分别是)(v f '的最小值和最大值,所以:

q

v f g v f g v

v

/5.0)(max ,

0)(min 21='=='=

当.)

()(dv

v df v f ≡

'的时候。 所以神经网络的输入输出关系可以被表示为如下的LDI :

∑=-+=+==+2

1212211))

1()(()())()(()()1(i i i k x w k x w g k h v g k h g k h v f k x 其中满足0)(),(21≥k h k h 和

1)()(21=+k h k h 。转换成矩阵表达形式,

我们就得到:

)6()()()1(2

1

∑==+i i i k x k h k A x

其中满足

∑==≥2

1

,1)(,0)(i i i k h k h for all k

??

????=??????=??????=??????=-=01/5.0/5.001,010001

],

)1()([)(2221222111q w q w w g w g w g w g k x k x k i A A x 1T 公式(6)表明LDI 表示方法是由v g v g 21和两条直线插补来实现的。

图6表示的是PR 。在这个例子中,PR 是一条

直线。21A A 和是顶点矩阵。LDI 也可能表示多层神经网络的动态,这一点将在地六章讨论。

B.有反馈的神经网络控制系统

下面假设存在一个如图7所示包含p

NN 和

C NN 的有反馈的控制系统。p NN 是由神经

网络表示动态的对象,而C

NN 是控制器。这节中,我们发现反馈神经网络的动态也可

以用LDI 来表示。因此我们也可以用第三章中提到的稳定条件来分析反馈神经网络控制系统的稳定性。

假设p

NN 和C

NN 被表示为一下形式:

∑∑===+=+2

1

1

1)

8().(x f )()(u )

7()},(u B )(x A ){()1(x r i i c i r i i i p i k k h k k k k h k

其中

1

)(,0)(,

1)(,0)(2

1

1

1=≥=≥∑∑==r i c i c i r i p i p

i k h k h k h k h

对于所有的k 都成立。将公式(8)带入公式

(7)中我们可以得到:

)9()(x H )()()

(x }f B A ){()()1(x 12

12

1111

k k h k h k k h k h k ij c j r i r j p i j i i c j r i r j p i ∑∑∑∑=====+=+

图4.简单神经网络

相同的,其中

1)()(,0)()(12

11

=≥∑∑==k h k h k h k h c j r i r j p i c

j

p

i

对于所有k 都成立。因为公式(9)是一个LDI 公式,如果我们能找一个像

r j i T ij ,...,2,1,,0P PH H ij =<-的共同的正

定矩阵,那么公式(9)表示的反馈神经网络系统是一个广义范围的渐进稳定。

6.稳定性分析

A.单一的神经网络系统

首先来说明一下定理3.1对于神经网络系统的稳定性分析。

例6.1:假设存在一个图8表示的神经网络。由图8中,我们可以得到:

)

13().()1()12(),()()11(),()()

10(),()(21211212212211211221121212111111 v f k x v f w k x w v k x w k x w v k x w k x w v =++=+=+=

接着我们定义:

)

16(1)

exp(12)()15(1)

exp(12)()

14(1)

exp(12)(21

21212112

12121211

111111 --+=

--+=

--+=

q v

v f q v

v f q v

v f

作为输出函数的单位,其中q 是输出函数的

参数。公式(14)-公式(16)可以分别被表示为如下LDI 表达方式:

)

19(,))()(()()18(,))()(()()

17(,))()(()(212122122112112121121221221211211212111121121111111111 v g k h g k h v f v g k h g k h v f v g k h g k h v f +=+=+=

其中:

./5.0)(max ,/5.0)(max ,/5.0)(max .,0)(min ,0)(min ,0)(min 212121

212121212

121111111

1112121

2121212

1211111

11121

12

11

21

12

11

q v f g q v f g q v f g v f g v f g v f g v v v v v v ='=='=='=='=='=='= 由公式(13)-公式(19)可得:

∑==+=+2

12121212121221221121120)(,))()(()1(i i i v g k h v g k h g k h k x )

( 

 图5.f (v )的图形表示

图6.简单神经的区域表示

图7.反馈控制的神经网络

将公式(12)带入公式(20),得到:

∑∑===+21

2

1

1121212121).(·)()1(i i j j j i i v f w g k h k x )

将公式(17)和公式(18)带入公式(21)得到:

)

22(}.{*)

()(·)(})()({w

)()1(122121*********

12

1

121121

212112

1j 2121111121j

2

1

2121 v w g v w g k h k h g k h v g k h g k h g k h k x s j j s s j i i i j

j j j j i i i +=+?

=+∑∑∑∑∑=====

由公式(10)公式(11)和公式(22)可得到下列式子:

)

1(][)(][{)

(x A )()(12221212121211112111221212111211112121212

1

1221-?+?+?+??=∑∑∑===k x w w g w w g g k x w w g w w g g k k h k h s j i s j i i j s ijs s i

转换为矩阵的形式就是:

∑∑∑====+2

12

12

1

121121)(x (k)A )()()1(i j s ijs s j j k h k h k h k x

其中:

[]

)1()()(x }]{}

{[A T 122212121212111121112212121112111121ijs -=+?+?=k x k x k w w g w w g g w w g w w g g s j i s j i 然后,我们假设:

.

25.0,1,1,5.0,5.0,1,1211211212211122121112111=====-=-=-==q q q w w w w w w

因为211211q q q ==,所以我们可以得到:

.

0,0.212111211112212122112g g g g g g g g ========

于是我们得到矩阵A ,表示如下:

,0140A ,0124A ,0124A ,0100A A A A A 222221212211122121112111??

????-=??????-=??????--=??

?

???=====

最后,经过带入矩阵计算我们可以得到神经网络系统可以表示为下面的LDI :

∑==+4

1

)(x A )()1(i i i k k h k x

其中:

)

()()()()()()()()()()()(),()()()()()()()()()()()()

()()()(A A A A A A A A A A A A 12211221241211122123122111212212111121212211221112111221112211121112111121112224221321222111121211121111k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h ??=??=??=??+??+??+??+??=========,,,,可以注意到∑==≥4

11)(,0)(i i

i

k h k h ,对于所

k 都成立。

图8.两个输入的三层神经网络

图9展示的是神经网络的PR 。因为

432A A A 和,不是固定的矩阵,所以不存

在一个共用的正定矩阵。图10(1)表示了神经网络系统的行为。由图10(1)可以看出,这个系统不是大范围渐进稳定的。在这种不稳定的网络系统中,神经网络系统的行为只受到输出饱和所限制,[]1,1)(-∈v f 。

例6.2:在公式(14)--公式(16)中,假设:

4.0211211===q q q

因为211211q q q ==,我们可以得到:

.

0,2.11211121111212122112g g g g g g g =======

然后,我们得到如下的矩阵A :

,0144.10A A ,01

72.044.1A A ,01

72.044.1A A ,0100A A A A A A 2224221321222111221211121111??

?

???-==???

???-==???

???--==?

?

?

???======

图9显示的是神经网络的PR 。从定理3.2可以发现因为32A A 不是一个稳定的矩阵,所以不存在一个共用的正定矩阵P 。图10(2)显示了这个神经网络系统的行为,同样不是大范围渐进稳定的。

例6.3:在公式(14)--公式(16)中,假设

75.0211211===q q q

因为211211q q q ==,我们可以得到:

.

0,67.01211121111212122112g g g g g g g =======

然后,得到如下矩阵A :

,01

45.00A A ,0122.045.0A A ,0122.045.0A A ,0100A A A A A A 2224221321222111221211121111???

???-==??

????-==???

???--==??

?

???======

图9显示了神经网络系统的PR 。如果我们设 定P 为:

?

?

?

???=00.10000.2P 作为共用的正定矩阵,所以:

A P T i i -

因此,这个神经网络是大范围渐进稳定。图10(3)显示了这个神经网络的动态行为。 例6.4:下面我们讨论图11表示的神经网络系统。从图中可得:

)

26().()1()

25(),()

24(4,3,2,1),1()(21214

111212112111

v f k x v f w v i k x w k x w v i i i i i i i =+==-+=∑=

我们定义

)

28(1)

exp(12

)()

27(4,3,2,11)

exp(12)(21

2121211111 --+=

=--+=

q v

v f i q v

v f i

i i i

作为每个单元的输出函数,其中过q 是输出函数的权值。从公式(27)--公式(28)分别计算可得如下LDI :

)

30())()(()()29(4,3,2,1,))()(()(1212111111112121111111 i i i i i i i i i i i i i i v g k h g k h v f i v g k h g k h v f +===+==其中:

./5.0)(max 4,3,2,1,/5.0)(max ,0)(min 4,3,2,1,0)(min 212121

212111112121

2211111211211q v f g i q v f g v f g i v f g v i i i v i v i i v i i i

='==='=='==='=

由公式(26)--公式)(30)整理得:

)

31(.)(,))()(()1(21212

1

2121212212211211 v g k h v g k h g k h k x i i ∑==+=+将公式(25)带入公式(31)中得到:

)

32()()()1(4

1

11212121

21 ∑∑==?=+j j j j i i i v f w g k h k x 由公式(29)和公式(32)得到:

)33(}.{)()()()

()(}

)()({)()1(14214141321313122121211211111413122121212

1

11212

1

214

12121111121212

1

21 v w g v w g v w g v w g k h k h k h k h g k h g k h g k h w g k h k x t s p j t s p j p s t j i i i j j j j j j i i i ++

+???=+?

=+∑∑∑∑∑∑∑=======结合公式(24)和公式(33)可以得到如下

表示:

)].

1(}{)(}{[)

()()()()

()1(1242141412321313122

212121212111121114214141132131311221212111211112114131211212121212

1

21-?+++?+?+++???=+∑∑∑∑∑=====k x w w g w w g w w g w w g g k x w w g w w g w w g w w g g k h k h k h k h k h k x t s p j i t s p j i t s p j i j p s t i 用矩阵表示就是:

)

(x A )()()()()

()1(12111211212121212

1

21k k h k h k h k h k h k x ijpst t s p j i j p s t i ?=+∑∑∑∑∑-==== 其中:

[].

)1()()(x },

{},

{)34(,01

A T 1242141412321313122

21212121211112121142141411321313112

21212111211112112

1-=+++?=+++?=??????=k x k x k w w g w w g w w g w w g g a w w g w w g w w g w w g g a a a t s p j i ijpst t s p i i ijpst ijpst

ijpst ijpst

注意到对于所有的k ,以下公式都成立:

1

)()()()()

(,

0)()()()()(14131211212121212

1

211413121121=?≥∑∑∑∑∑-====t h k h k h k h k h

t h k h k h k h k h t s p j i j p s t i

t s p j i

于是,我们假设:

.

0.1,1,1,1,1,5.0,5.0,5.0,5.0,

1,1,1,1211211214213212211124123122121114113112111=====-==-==-=-===-==q q q w w w w w w w w w w w w 由于211211q q q ==,我们可以得到:

.0,

5.01211141131121111

2212142132122112g g g g g g g g g g g g ============然后,得到如下矩阵A :

,01375.025.0A A ,01

125.075.0A A ,0125.00A A ,0125.05.0A A A ,01125.00A A ,01

05.0A A A ,01125.025.0A A ,01125.025.0A A ,01125.025.0A A A A A 2

,1,,,,0100A A A A 222121022122922211822222221127212126221212112252121142112132222121222

22111211122212212111111??

?

???-==??????-==???

???-==??

?

???-===??

?

???-==??

?

?

??===???

???--==??

?

???==??

?

???-======??

?

???====t s p j jpst

图12表示的是神经网络系统的PR 表示。其中

点i 代表了i A ,例如点i 的坐标是),(2

1a a ,

那么顶点矩阵就是:

.00.1375.025.0A ,00.1125.075.0A ,00.1125.025.0A ,00.1125.025.0A 3343??

????-=??????-=??

????--=??????=

如果我们选择

?

?????--=06.1305.0305.066

.3P

作为一个公用的正值正定矩阵,则:

A P .3,4,9,10.T i i i -<=A P 0

根据定理4.1,这个神经网络系统是大范围渐

进稳定的。

从例6.4中可以看出因为矩阵A 的数量太多,对于多层或者有大量单元在未知层的情况下,很难找到神经网络系统的李雅普诺夫函数。在这个例子中,定理4.1有很重要的作用,将在第七章B 中再次讨论。

例6.5神经网络系统的动态表示为:

)

38().()1()37(,)36(),2()1()()35(),2()1()(212112122121111211111321221121213112111111 v f k x v f w v f w v k x w k x w k x w v k x w k x w k x w v =++=-+-+=-+-+=

然后,我们定义

)

40(1)

exp(12

)()

39(2,11)

exp(12

)(21

21

21211111 --+==--+=

q v v f i q v v f i i

i i

作为每个神经元的输出函数,其中q 是输出函数的权值。于是公式(39)和公式(40)可以被表示为LDI :

)

42())()(()()41(,))()(()(21212212211211212112121111111 v g k h g k h v f v g k h g k h v f i i i i i i i +==+==

其中:

./5.0)(max ,/5.0)(max ,/5.0)(max .,0)(min ,0)(min ,0)(min 212121

212121212

122111111

1122121

2121212

1211111

1112112

11

21

12

11

q v f g q v f g q v f g v f g v f g v f g v v v v v v ='=='=='=='=='=='= 用例6.1中方法,我们可以得到:

)

43()

(x A )()()1(12112

12

12

1

21k k h k h h k x ijp s j i j s i ∑∑∑-===+其中: [].

)2()1()()(x },{},{},{,

010001A T 13221212121211112131222121212121111212

1122121211121111211

321--=+=+=+=??????????=k x k x k x k w w g w w g g a w w g w w g g a w w g w w g g a a a a s j i ijs s j i ijs s j i ijs ijs ijs ijs ijs

可以发现,对于所有k 以下公式均成立。

∑∑∑====≥21212

1

1211211211211

)()()(,

0)()()(i j s s j i s j i k h k h k h k h k h k h

于是,假设:

.

5.0,1,2.0,2.0,3.0,3.0211211212211132131122121112111=====-======q q q w w w w w w w w 因为211211q q q ==,得到:

.

0,0.112111211112212122112g g g g g g g g ========

顶点矩阵表示如下:

.010001006.0A A ,0100012.03.03.0A A ,0100012.03.03.0A A ,010001000A A A A A A 222422132122211122

1211121111??????????==??????????==?????

?????--==????

??????======

如果我们选择

??

??

?

?????=100020004.69P

作为公用的正定矩阵,则:

A P .1,2,3,4.T i i i -<=A P 0

因此,这个神经网络系统是大范围渐进稳定的。

图12.例6.4的区域表示

图13.三输入的三层神经网络 图14.反馈神经网络系统

B.反馈神经网络控制系统

在这一节中,讨论在第五章B 中讨论过的反馈神经网络控制系统的稳定性。 例6.6:

我们讨论图14表示的这个神经网络。假设对象的传递函数是:

)

46()()1()

45(),()()44(),()()(21

21

12

12

21211

11

21121

1312111 p p

p p p p p p p p

i p i p i p i v f k x v f w

v f w v k x w k x w k x w v =++=++=

每个神经元的输出函数定义为:

)

48(1)

exp(12

)()

47(2,11)exp(12)(21

21

21211111 --+=

=--

+=

p p

p

p p i

p i p i

p

i q v v f i q

v v f

于是,公式(47)和公式(48)用LDI 分别表示为:

)

50(,))()(()()

49(,))()(()(21212212211211212112121111111p p p p p p p p i

p i p i p i p i p i p i v g k h g k h v f v g k h g k h v f +=+=

其中:

,

/5.0)(max ,

/5.0)(max ,/5.0)(max ,

0)(min ,

0)(min ,

0)(min 21212121212

1212122

11111111221

21211

12

12121111111121

1211

21

12

11

p

p p v p p p p

v p p

p p v p p p v p p p v p p

p v p q v f g q v f g

q v f g v f g v f g v f g ='=='=='=='=='=='=

有公式(46)--公式(50)可得:

)51()())()(()1(2

121212121

212212211211 ∑==+=+i p

p i p i p

p p p p v g k h v g k h g k h k x

将公式(45)带入公式(51)得到:

)52().()()1(2

1

212

1

21212121 ∑∑==?=+i p

i p p p i

p i v f w g

k h k x

由公式(49)得:

 }{)()()(})()({)()1(12212121121111212

1

121121

21212

1121211111212

12121p

p p s p p p j j s p

s p j i p i

p i i p j p j p j p j p j p

i p

i

p i v w g v w g k h k h g

k h v g k h g k h w g k h k x +??=+?=+∑∑∑∑∑=====

结合公式(44)和公式(53), )](}{)1(}{)(}{[)

()()()

1(1322121213121111211222121212121111211122121211121111212

12

12

1

121121k u w w g w w g g k x w w g w w g g k x w w g w w g g k h k h k h k x p p p s p p p j p i p p p s p p p j p i p

p p s p p p j p i i j s p s p j p i ?+?+-?+?+?+??=+∑∑∑===

矩阵表达为:

)

54()}(b )(x A {)

()()()

1(2

12

12

1121121 k u k k h k h k h k x ijs ijs i j s p

s p j p i +?=+∑∑∑===

其中:

[].

)1()()(x ,

0}{b 01{}{A 1312121213121111211212111121112212121112111121-=??

????+?=??

?+?+?=k x k x k w w g w w g g w w g g w w g w w g g T p p p s p p p j p i ijs p

p p j p i p p p s p p p j p i

ijs

假设:

p

p p p p p p p p p p p p p p p p p p g g g g g g g g q q q w w w w w w w w 121112111122121221122112111321312122111221211121110.10.1,5.0,2.0,2.0,1,1,4.0,4.0,2.0,1.0===========-====-=-=-==

得到顶点矩阵:

.

00b b ,

02.0b b ,02.0b b ,

00b b b b b b ,018.01.0A A ,01

4.01.0A A ,014.02.0A A ,0100A A A A A A 22242213212221112212111211112224221321222111221211121111??

?

???==???

???==??

????-==??

?

???======???

???--==???

???-==??

?

???--==??????======

因此,从公式(54)得:

)

55(}u(k)b )(x A ){()1(4

1

∑=+=+i i i p i k k h k x

其中:

).

()()()(),()()()(),()()()(),

()()()

()()()()()()()()()

()()()(122112212412111221231221112122121

1112121221122111211122111221122111211112111k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h p p p p p p p p p

p p p p p p

p p p p p p p

p p p

p p p ??=??=??=??+??+??+??+??=

可以明显看出:1)(,

0)(4

1

=≥∑=i p

i

p

i k h

k h 对

于多有k 都成立。

另一方面,假设反馈控制的传递函数是:

)

58()()()57(),()()56(),1()(2121121221211112112112111 c c c c c c c c c c

i c i c i v f k u v f w v f w v k x w k x w v =+=-+= 相似的,我们定义

)

60(1)

exp(12

)()

59(1)exp(12)(21

21

21211111 --+=

--

+=

c c

c

c c i

c i c i c i q v v f q

v v f

作为神经元的输出函数。则公式(59)和公

式(60)分别表示为LDI :

图15.例6.6的区域表示

)62(,))()(()()

61(,))()(()(21212212211211212112121111111c c c c c c c c

i c i c i c i c i c i c i v g k h g k h v f v g k h g k h v f +=+=

其中:

,

/5.0)(max ,

/5.0)(max ,

/5.0)(max ,

0)(min ,

0)(min ,

0)(min 21212121212

12

12

122

11

111111221212111212121111111121

1211

21

12

11

c

c c v c c

c c v c c c c v c c c v c c c v c c

c v c q v f g q v f g

q v f g v f g v f g v f g ='=='=='=='=='=='=

从公式(58)--公式(62)得出:

)

63()())()(()(2

1

21

212121

212212211211 ∑==+=i c c i c

i

c

c c c c v g k h v g k h g k h k u

将公式(57)带入公式(63),我么得到:

)64().()()(2

1

212

1

21212121

∑∑==?=i c i c c c i c i v f w g k h k u

再由公式(61)

)65(.}{)()()(})()({)()(12

2121211

211112

12

112112

121212

112121111

121

2

12121c c c s c

c c j

j s c

s c j i c

i

c i i c j

c j c j c j c j c

i c

i

c i v w g v w g k h k h g

k h v

g k h g

k h w g k h k u +??=+?=∑∑∑∑∑=====

结合公式(56)和公式(65)得到:

)].

1(}{)(}{[)

()()()(1222121212121111211122121211121111212

12

12

1

121121-?+?+?+??=∑∑∑===k x w w g w w g g k x w w g w w g g k h k h k h k u c

c c s c c c j c i c c c s c c c j c i i j s c

s c j c i

矩阵表示为:

)

66()

(x f )()()()(2

12

12

1

121121

k k h k h k h k u ijs i j s c s c j c i ?=∑∑∑===其中:

[].

)1()()(x ,}{}{f 122212121212111121112212121112111121-=????????+?+?=k x k x k w w g w w g g w w g w w g g T c c c s c c c j c i c

c c s c c c j c i ijs 假设:

c

c c c c c c c c c c c c c c c c g g g g g g g g q q q w w w w w w 1211121111221212211221121121221112212111211100.1,5.0,5.0,1.0,1,2.0,5.0,1==============-=-==

然后,得到:

[][][]

[]

48.015.0f f 02.01.0f f 5.025.0f f ,00f f f f f 2224221321221221221211111-==-==-=======

因此:

)67()(x f )()(4

1

k k h k u i i c i ∑==

其中:

).

()()()(),

()()()(),()()()(),

()()()

()()()()()()()()()

()()()(122112212412111221231221112122121

1112121221122111211122111221122111211112111k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h k h c

c c c c c c c c c c c c c c

c c c c c c c

c c c

c c c ??=??=??=??+??+??+??+??=

当然,对于所有k ,1

)(,0)(4

1

=≥∑=i c i c i

k h k h 都成立。

根据第五章B 中提到的,公式(55)和(67)可转化为:

(48)(x }f b A ){()()1(x j i i 11

1

2

k k h k h k c i r i r j p i +=+∑∑==其中421==r r 。如果我们定义:

j f b A H i i ij +=

于是,可以得到:

4

,3,2,1,00.100H ,00

.1304.007.0H ,00.1404.012.0H ,00.13.005.0H ,00.14.01.0H ,00.1496.017.0H ,00.1396.022.0H ,00.15.015.0H ,00.14.02.0H 4,3,2,1,00.100H 43433323124232221=??

?

???=??????-=??????-=??????-=??????-=??

?

???--=??????--=??????--=??????--==?

?

????=j j j ij

图15表示了这个神经网络系统的PR ,其中点i j 对应的是ij H 。从图中可以看出顶点矩阵是:

4,3,2,1,H 00

.100H ,H 00.1404.012.0H ,H 00.1396.022.0H 4,3,2,1,H 00.100H 443433242311=??

?

?

??==???

?

??-==??????--===??

????=j j j j

根据定理4.1,如果存在一个公用的正值正定

矩阵P ,满足:4,3,2,1,0P PH H =<-i i T

i ,

则这个系统是大范围稳定的。因此,通过定理4.1,有可能简化程序来找到李雅普诺夫函数。如果我们选择

??

????=57.425.025.057.5P

作为公用的正定矩阵。

4,3,2,1,0P PH H =<-i i T i

因此,这个系统是大范围渐进稳定的。对于寻找矩阵P 的方法在应用[10]中讨论。

7.总结 本文讨论了用LDI 的稳定条件来表示神经网

络系统的稳定性。PR 表示被引入了新的概念,提出了顶点矩阵和最小值表示。最后,说明了但神经系统和反馈神经网络控制系

统的稳定性标准。本文引用的稳定性分析可以用于包括神经网络系统在内的多有LDI 类别。 未来的工作是将本文讨论稳定性分析方法应用到实际神经网络系统中去。

附录:

定理4.1的证明

证明定理4.1需要用到一个重要的推理,推理的证明在文献[8]中给出了。

推理:如果矩阵P 是一个正定矩阵,满足

0P PA A *T <-和0P PB B *T <-

那么0P 2PA B PB A T

T

<-+成立。 定理4.1证明:

}

P 2PA A PA A {}

P PA A {}

P PA A {P PA A i T j j T i j T i 2r

1r

1j T i *

*T

-++-=-=-∑∑∑∑<===r

j

i j i r

j i i i j j i s s s s s

因为:

1,0,0P PA A 1

T =≥<-∑=r

i i i i i

s s

所以我们得到:

o P PA A **<-

人工神经网络原理及实际应用

人工神经网络原理及实际应用 摘要:本文就主要讲述一下神经网络的基本原理,特别是BP神经网络原理,以及它在实际工程中的应用。 关键词:神经网络、BP算法、鲁棒自适应控制、Smith-PID 本世纪初,科学家们就一直探究大脑构筑函数和思维运行机理。特别是近二十年来。对大脑有关的感觉器官的仿生做了不少工作,人脑含有数亿个神经元,并以特殊的复杂形式组成在一起,它能够在“计算"某些问题(如难以用数学描述或非确定性问题等)时,比目前最快的计算机还要快许多倍。大脑的信号传导速度要比电子元件的信号传导要慢百万倍,然而,大脑的信息处理速度比电子元件的处理速度快许多倍,因此科学家推测大脑的信息处理方式和思维方式是非常复杂的,是一个复杂并行信息处理系统。1943年Macullocu和Pitts融合了生物物理学和数学提出了第一个神经元模型。从这以后,人工神经网络经历了发展,停滞,再发展的过程,时至今日发展正走向成熟,在广泛领域得到了令人鼓舞的应用成果。本文就主要讲述一下神经网络的原理,特别是BP神经网络原理,以及它在实际中的应用。 1.神经网络的基本原理 因为人工神经网络是模拟人和动物的神经网络的某种结构和功能的模拟,所以要了解神经网络的工作原理,所以我们首先要了解生物神经元。其结构如下图所示: 从上图可看出生物神经元它包括,细胞体:由细胞核、细胞质与细胞膜组成;

轴突:是从细胞体向外伸出的细长部分,也就是神经纤维。轴突是神经细胞的输出端,通过它向外传出神经冲动;树突:是细胞体向外伸出的许多较短的树枝状分支。它们是细胞的输入端,接受来自其它神经元的冲动;突触:神经元之间相互连接的地方,既是神经末梢与树突相接触的交界面。 对于从同一树突先后传入的神经冲动,以及同一时间从不同树突输入的神经冲动,神经细胞均可加以综合处理,处理的结果可使细胞膜电位升高;当膜电位升高到一阀值(约40mV),细胞进入兴奋状态,产生神经冲动,并由轴突输出神经冲动;当输入的冲动减小,综合处理的结果使膜电位下降,当下降到阀值时。细胞进入抑制状态,此时无神经冲动输出。“兴奋”和“抑制”,神经细胞必呈其一。 突触界面具有脉冲/电位信号转换功能,即类似于D/A转换功能。沿轴突和树突传递的是等幅、恒宽、编码的离散电脉冲信号。细胞中膜电位是连续的模拟量。 神经冲动信号的传导速度在1~150m/s之间,随纤维的粗细,髓鞘的有无而不同。 神经细胞的重要特点是具有学习功能并有遗忘和疲劳效应。总之,随着对生物神经元的深入研究,揭示出神经元不是简单的双稳逻辑元件而是微型生物信息处理机制和控制机。 而神经网络的基本原理也就是对生物神经元进行尽可能的模拟,当然,以目前的理论水平,制造水平,和应用水平,还与人脑神经网络的有着很大的差别,它只是对人脑神经网络有选择的,单一的,简化的构造和性能模拟,从而形成了不同功能的,多种类型的,不同层次的神经网络模型。 2.BP神经网络 目前,再这一基本原理上已发展了几十种神经网络,例如Hopficld模型,Feldmann等的连接型网络模型,Hinton等的玻尔茨曼机模型,以及Rumelhart 等的多层感知机模型和Kohonen的自组织网络模型等等。在这众多神经网络模型中,应用最广泛的是多层感知机神经网络。 这里我们重点的讲述一下BP神经网络。多层感知机神经网络的研究始于50年代,但一直进展不大。直到1985年,Rumelhart等人提出了误差反向传递学习算法(即BP算),实现了Minsky的多层网络设想,其网络模型如下图所示。它可以分为输入层,影层(也叫中间层),和输出层,其中中间层可以是一层,也可以多层,看实际情况而定。

神经网络控制

人工神经网络控制 摘要: 神经网络控制,即基于神经网络控制或简称神经控制,是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模,或充当控制器,或优化计算,或进行推理,或故障诊断等,亦即同时兼有上述某些功能的适应组合,将这样的系统统称为神经网络的控制系统。本文从人工神经网络,以及控制理论如何与神经网络相结合,详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制;控制系统;人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支,为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是(人工)神经网络理论与控制理论相结合的产物,是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域,将具有学习能力的控制系统称为学习控制系统,属于智能控制系统。神经控制是有学习能力的,属于学习控制,是智能控制的一个分支。神经控制发展至今,虽仅有十余年的历史,已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元,人脑大约含1012个神经元,分成约1000种类型,每个神经元大约与102~104个其他神经元相连接,形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单,但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式,同时,如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 图1 生物神经元传递信息的过程为多输入、单输出,神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近,当神经元细胞体通过轴突传到突触前膜的脉冲幅度达到一定强度,即超过其阈值电位后,突触前膜将向突触间隙释放神经传递的化学物质,突触有两

连续时间递归神经网络的稳定性分析

文章编号:1003-1251(2007)02-0001-04 连续时间递归神经网络的稳定性分析 陈 钢1 ,王占山 2 (1.沈阳理工大学理学院,辽宁沈阳110168;2.沈阳理工大学) 摘 要:基于压缩映射原理,针对连续时间递归神经网络研究了其平衡点全局稳定性问 题,给出了平衡点稳定的充分判据.该判据不要求网络互连矩阵的对称性,改进了现有一些文献中的结果,且具有易于验证的特点.通过两个注释和一个仿真例子证明了所得结果的有效性.关 键 词:递归神经网络;平衡点;压缩映射原理;稳定性 中图分类号:TP183 文献标识码:A An Analysis on t he Stability of Conti n uous ti m e Recursive Neural Net works CHEN G ang ,WANG Zhan shan (Shenyang L i gong Un ivers i ty ,Shenyang 110168,C h i na) A bstract :U si n g the co m pression m app i n g theore m,a sufficient conditi o n is g i v en for the g lobal asy m ptotic stab ility of a conti n uous ti m e recursive neural net w ork .The ne w conditi o ns do not requ ire the sy mm etry o f the i n terconnection m atri x o f the recursive neura l net w or ks ,and the activati o n f u ncti o n m ay be unbounded .The obtained suffic i e nt conditi o ns are less conservati v e than so m e prev i o us w orks ,and are easy to check .The effectiveness o f the ob ta i n ed results is de m onstrated by t w o re m arks and a si m ulation exa m p le . K ey words :recursive neural net w orks ;equ ili b ri u m poin;t co m pression m app i n g pri n c i p le ;stab ility 收稿日期:2006-11-20 作者简介:陈钢(1968 ),男,内蒙通辽人,讲师 递归神经网络在优化和联想记忆等领域已经取得广泛成功应用 [1] .众所周知,递归神经网络的工程应用主要依赖于网络的动态行为.这样,关于 递归神经网络稳定性的研究得到人们越来越多的关注 [1~10] .目前神经网络稳定性研究所得到的稳 定判据主要具有如下特征:激励函数是有界的[7] , 利用M 矩阵特性[4,6] ,及计算互联矩阵的各种范数或测度等 [11] .然而,在某些工程应用中常常要 求神经网络的激励函数是无界的,且进一步降低 神经网络稳定条件的保守性仍是一个有待解决的问题 [2] .所以,研究递归神经网络的稳定性具有重 要的理论意义和实际意义.文献[1]利用矩阵范数的概念得到了神经网络稳定性的充分条件,而文献[2~11]分别基于矩阵测度、M 矩阵等方法得到了神经网络稳定性的充分条件. 本文研究连续时间递归神经网络的稳定性问题.基于压缩映射原理,我们将给出保证神经网络平衡点存在性、唯一性和渐近稳定性的充分判据. 2007年4月 沈阳理工大学学报 V ol.26N o.2 第26卷第2期 TRANSACT I O NS OF S H ENYANG L I G ONG UN I V ERSI TY Ap r . 2 7

神经网络模型预测控制器

神经网络模型预测控制器 摘要:本文将神经网络控制器应用于受限非线性系统的优化模型预测控制中,控制规则用一个神经网络函数逼近器来表示,该网络是通过最小化一个与控制相关的代价函数来训练的。本文提出的方法可以用于构造任意结构的控制器,如减速优化控制器和分散控制器。 关键字:模型预测控制、神经网络、非线性控制 1.介绍 由于非线性控制问题的复杂性,通常用逼近方法来获得近似解。在本文中,提出了一种广泛应用的方法即模型预测控制(MPC),这可用于解决在线优化问题,另一种方法是函数逼近器,如人工神经网络,这可用于离线的优化控制规则。 在模型预测控制中,控制信号取决于在每个采样时刻时的想要在线最小化的代价函数,它已经广泛地应用于受限的多变量系统和非线性过程等工业控制中[3,11,22]。MPC方法一个潜在的弱点是优化问题必须能严格地按要求推算,尤其是在非线性系统中。模型预测控制已经广泛地应用于线性MPC问题中[5],但为了减小在线计算时的计算量,该部分的计算为离线。一个非常强大的函数逼近器为神经网络,它能很好地用于表示非线性模型或控制器,如文献[4,13,14]。基于模型跟踪控制的方法已经普遍地应用在神经网络控制,这种方法的一个局限性是它不适合于不稳定地逆系统,基此本文研究了基于优化控制技术的方法。 许多基于神经网络的方法已经提出了应用在优化控制问题方面,该优化控制的目标是最小化一个与控制相关的代价函数。一个方法是用一个神经网络来逼近与优化控制问题相关联的动态程式方程的解[6]。一个更直接地方法是模仿MPC方法,用通过最小化预测代价函数来训练神经网络控制器。为了达到精确的MPC技术,用神经网络来逼近模型预测控制策略,且通过离线计算[1,7.9,19]。用一个交替且更直接的方法即直接最小化代价函数训练网络控制器代替通过训练一个神经网络来逼近一个优化模型预测控制策略。这种方法目前已有许多版本,Parisini[20]和Zoppoli[24]等人研究了随机优化控制问题,其中控制器作为神经网络逼近器的输入输出的一个函数。Seong和Widrow[23]研究了一个初始状态为随机分配的优化控制问题,控制器为反馈状态,用一个神经网络来表示。在以上的研究中,应用了一个随机逼近器算法来训练网络。Al-dajani[2]和Nayeri等人[15]提出了一种相似的方法,即用最速下降法来训练神经网络控制器。 在许多应用中,设计一个控制器都涉及到一个特殊的结构。对于复杂的系统如减速控制器或分散控制系统,都需要许多输入与输出。在模型预测控制中,模型是用于预测系统未来的运动轨迹,优化控制信号是系统模型的系统的函数。因此,模型预测控制不能用于定结构控制问题。不同的是,基于神经网络函数逼近器的控制器可以应用于优化定结构控制问题。 在本文中,主要研究的是应用于非线性优化控制问题的结构受限的MPC类型[20,2,24,23,15]。控制规则用神经网络逼近器表示,最小化一个与控制相关的代价函数来离线训练神经网络。通过将神经网络控制的输入适当特殊化来完成优化低阶控制器的设计,分散和其它定结构神经网络控制器是通过对网络结构加入合适的限制构成的。通过一个数据例子来评价神经网络控制器的性能并与优化模型预测控制器进行比较。 2.问题表述 考虑一个离散非线性控制系统: 其中为控制器的输出,为输入,为状态矢量。控制

机器人神经网络控制

第一部分 机器人手臂的自适应神经网络控制 机器人是一具有高度非线性和不确定性的复杂系统,近年来各研究单位对机器人智能控制的研究非常热门,并已取得相当丰富的成果。 机器人轨迹跟踪控制系统的主要目的是通过给定各关节的驱动力矩,使得机器人的位置、速度等状态变量跟踪给定的理想轨迹。与一般的机械系统一样,当机器人的结构及其机械参数确定后,其动态特性将由动力学方程即数学模型来描述。因此,可采用经典控制理论的设计方法——基于数学模型的方法设计机器人控制器。但是在实际工程中,由于机器人模型的不确定性,使得研究工作者很难得到机器人精确的数学模型。 采用自适应神经网络,可实现对机器人动力学方程中未知部分的精确逼近,从而实现无需建模的控制。下面将讨论如何利用自适应神经网络和李雅普诺夫(Lyapunov )方法设计机器人手臂跟踪控制的问题。 1、控制对象描述: 选二关节机器人力臂系统(图1),其动力学模型为: 图1 二关节机器人力臂系统物理模型 ()()()()d ++++=M q q V q,q q G q F q ττ (1) 其中 1232 232232 22cos cos ()cos p p p q p p q p p q p +++??=? ?+??M q ,322 3122312 sin ()sin (,)sin 0p q q p q q q p q q --+?? =???? V q q

41512512cos cos()()cos()p g q p g q q p g q q ++??=??+?? G q ,()()0.02sgn =F q q ,()()0.2sin 0.2sin T d t t =????τ。 其中,q 为关节转动角度向量,()M q 为2乘2维正定惯性矩阵,(),V q q 为2乘2维向心哥氏力矩,()G q 为2维惯性矩阵,()F q 为2维摩擦力矩阵,d τ为 未知有界的外加干扰,τ为各个关节运动的转矩向量,即控制输入。 已知机器人动力学系统具有如下动力学特性: 特性1:惯量矩阵M(q)是对称正定阵且有界; 特性2:矩阵 () ,V q q 有界; 特性3:()()2,-M q C q q 是一个斜对称矩阵,即对任意向量ξ,有 ()()()2,0T -=ξ M q C q q ξ (2) 特性4:未知外加干扰d τ 满足 d d b ≤τ, d b 为正常数。 我们取[][]2 12345,,,, 2.9,0.76,0.87,3.04,0.87p p p p p kgm ==p ,两个关节的位置 指令分别为()10.1sin d q t =,()20.1cos d q t =,即设计控制器驱动两关节电 机使对应的手臂段角度分别跟踪这两个位置指令。 2、传统控制器的设计及分析: 定义跟踪误差为: ()()()d t t t =-e q q (3) 定义误差函数为: =+∧r e e (4) 其中0>∧=∧T 。 则 d =-++∧q r q e

人工神经网络复习题

《神经网络原理》 一、填空题 1、从系统的观点讲,人工神经元网络是由大量神经元通过极其丰富和完善的连接而构成的自适应、非线性、动力学系统。 2、神经网络的基本特性有拓扑性、学习性和稳定收敛性。 3、神经网络按结构可分为前馈网络和反馈网络,按性能可分为离散型和连续型,按学习方式可分为有导师和无导师。 4、神经网络研究的发展大致经过了四个阶段。 5、网络稳定性指从t=0时刻初态开始,到t时刻后v(t+△t)=v(t),(t>0),称网络稳定。 6、联想的形式有两种,它们分是自联想和异联想。 7、存储容量指网络稳定点的个数,提高存储容量的途径一是改进网络的拓扑结构,二是改进学习方法。 8、非稳定吸引子有两种状态,一是有限环状态,二是混沌状态。 9、神经元分兴奋性神经元和抑制性神经元。 10、汉明距离指两个向量中对应元素不同的个数。 二、简答题 1、人工神经元网络的特点 答:(1)、信息分布存储和容错性。 (2)、大规模并行协同处理。 (3)、自学习、自组织和自适应。 (4)、人工神经元网络是大量的神经元的集体行为,表现为复杂

的非线性动力学特性。 (5)人式神经元网络具有不适合高精度计算、学习算法和网络设计没有统一标准等局限性。 2、单个神经元的动作特征有哪些 答:单个神经元的动作特征有:(1)、空间相加性;(2)、时间相加性;(3)、阈值作用;(4)、不应期;(5)、可塑性;(6)疲劳。 3、怎样描述动力学系统 答:对于离散时间系统,用一组一阶差分方程来描述: X(t+1)=F[X(t)]; 对于连续时间系统,用一阶微分方程来描述: dU(t)/dt=F[U(t)]。 4、F(x)与x 的关系如下图,试述它们分别有几个平衡状态,是否为稳定的平衡状态 答:在图(1)中,有两个平衡状态a 、b ,其中,在a 点曲线斜率|F ’(X)|>1,为非稳定平稳状态;在b 点曲线斜率|F ’(X)|<1,为稳定平稳状态。 在图(2)中,有一个平稳状态a ,且在该点曲线斜率|F ’(X)|>1,为非稳定平稳状态。 X X

神经网络控制完整版

神经网络控制 HEN system office room 【HEN16H-HENS2AHENS8Q8-HENH1688】

人工神经网络控制 摘要: 神经网络控制,即基于神经网络控制或简称神经控制,是指在控制系统中采用神经网络这一工具对难以精确描述的复杂的非线性对象进行建模,或充当控制器,或优化计算,或进行推理,或故障诊断等,亦即同时兼有上述某些功能的适应组合,将这样的系统统称为神经网络的控制系统。本文从人工神经网络,以及控制理论如何与神经网络相结合,详细的论述了神经网络控制的应用以及发展。 关键词: 神经网络控制;控制系统;人工神经网络 人工神经网络的发展过程 神经网络控制是20世纪80年代末期发展起来的自动控制领域的前沿学科之一。它是智能控制的一个新的分支,为解决复杂的非线性、不确定、不确知系统的控制问题开辟了新途径。是(人工)神经网络理论与控制理论相结合的产物,是发展中的学科。它汇集了包括数学、生物学、神经生理学、脑科学、遗传学、人工智能、计算机科学、自动控制等学科的理论、技术、方法及研究成果。 在控制领域,将具有学习能力的控制系统称为学习控制系统,属于智能控制系统。神经控制是有学习能力的,属于学习控制,是智能控制的一个分支。神经控制发展至今,虽仅有十余年的历史,已有了多种控制结构。如神经预测控制、神经逆系统控制等。 生物神经元模型 神经元是大脑处理信息的基本单元,人脑大约含1012个神经元,分成约1000种类型,每个神经元大约与 102~104个其他神经元相连接,形成极为错综复杂而又灵活多变的神经网络。每个神经元虽然都十分简单,但是如此大量的神经元之间、如此复杂的连接却可以演化出丰富多彩的行为方式,同时,如此大量的神经元与外部感受器之间的多种多样的连接方式也蕴含了变化莫测的反应方式。 图1 生物神经元传递信息的过程为多输入、单输出,神经元各组成部分的功能来看,信息的处理与传递主要发生在突触附近,当神经元细胞体通过轴突传到突触前膜的脉

一个神经网络控制系统的稳定性判据的方法

摘要:本文讨论了基于李雅普诺夫方法分析神经网络控制系统的稳定性。首先,文章指出神经网络系统的动态可以由视为线性微分包含(LDI)的一类非线性系统表示。其次,对于这类非线性系统的稳定条件是推导并利用单神经系统和反馈神经网络控制系统的稳定性分析。此外,用图形方式显示非线性系统参数位置的这种参数区域表示方法(PR)提出了通过引入新的顶点和最小值的概念。从这些概念上可以推导出一个能有效地找到李雅普诺夫函数的重要理论。单个神经的神经系统的稳定性标准时由参数区域来决定的。最后,分析了包括神经网络设备和神经网络控制器为代表的神经网络控制系统的稳定性。 1.介绍 最近,已经有很多关于神经网络的自适应控制的研究,例如:在机器人领域,川户提出了一种使用的学习控制系统,控制系统的一项关键指标就是他的稳定性,然而分析像基于神经网络的控制系统这样的非线性系统的稳定性是非常难的。 Nguyen和Widrow 设计了一种在电脑上模拟卡车拖车的神经网络控制器。这个设计主要分为两大部分。第一部分是通过神经网络来学习设备的动态,这一部分被称为“仿真器”。第二部分是通过最小化的性能函数来计算出神经网络网络控制器的参数(权值)。但是,他们没有分析神经网络控制系统的稳定性。一项稳定性分析标准工具讲有利于神经网络控制应用到许多实际问题中。 最近,这类可被视为线性微分包含(LDI)的非线性系统的稳定条件已经被作者推导出来,再引用的[7][8]中讨论了。其中一项保证LDI稳定的充分条件与李雅普诺夫稳定性定理是相一致的。本文应用LDI的稳定条件和Nguyen与Widrow的方法来分析神经网络系统的稳定性。文中选取了一种代表神经网络状态的方法。此外,我们表明包含由近似于神经网络设备和神经网络控制器组成的神经网络反馈控制系统也可以分析神经网络是否能稳定。这意味着,本文提出的稳定条件可以分析神经网络反馈控制系统。本文的构成如下:第二节展示了一种文中的神经网络系统。第三节给出了LDI的稳定条件。第四节提出了一个以图形方式显示LDI参数的参数区域表示方法(PR)并推导出一个有效导出李雅普诺夫函数的重要定理。第五节阐述了神经网络系统的LDI表示方法。第六节介绍了用PR方法表示单神经系统和神经网络反馈系统的稳定标准。 2.神经控制系统 假设一个神经网络函数是 x(k + I) =P( x ( k )u, (k)), 他的神经网络反馈控制系统的函数是:x(k + 1) = P(x(k),u(k)) 和 u(k) = C(x(k)),其中x(k)是实属范围内的状态向量,u(k)是实属范围内的输入向量。P和C分别表示神经网络设备和神经网络控制器的非线性传递函数。如图1,显示了一个单一的神经网络系统和神经网络反馈控制系统。假设每个神经元的输出函数f ( u )都是可微分的,在k > 0的情况下,我们可以得到:f ( 0 ) = 0, f(v)∈[-k,k],对于所有的v都成立 此外,假设所有的传递权重都已经被学习方法所确定了,例如反向传播神经网络在神经网络控制稳定性分析之前。在一个单一的神经网络系统中,因为我们分析神经网络系统的动态平衡稳定性,所以设定. u(k) = 0。

模糊神经网络在智能控制中的应用研究

模糊神经网络在智能控制中的应用研究1 郑子杰,王虎 武汉理工大学信息工程学院,武汉 (430070) E-mail :zhzijie.27@https://www.wendangku.net/doc/9e15890320.html, 摘 要:本文简要介绍了神经网络(Neural Network )及模糊神经网络(Fuzzy Neural Network )的特点以及发展状况,并给出了模糊神经网络在智能控制中的几种应用,同时指出了今后研究中有待解决的一些问题,并对模糊神经网络技术将来的发展及其在工程上的应用作了展望。 关键词:神经网络,模糊神经网络,FFNC ,智能控制 中图分类号: TP183 文献标识码:A 1. 神经网络简介 神经网络是仿效生物处理模式以获得智能信息处理功能的理论。神经网络着眼于脑的微观网络结构,通过大量神经元的复杂连接,采用由底到顶的方法,通过自学习、自组织和非线性动力学所形成的并行分布方式,来处理难于语言化的模式信息[1]。自1943年第一个神经网络模型—MP 模型被提出至今,神经网络的发展十分迅速,特别是1982年提出的Hopfield 神经网络模型和1985年Rumelhart 提出的反向传播算法BP ,使Hopfield 的模型和多层前馈型神经网络成为用途广泛的神经网络模型,在语音识别、模式识别、图像处理和工业控制等领域的应用颇有成效。 神经网络的核心由其基本结构、学习规则及其工作方式三大部分组成。 1.1 基本结构 神经网络是由大量神经元广泛互连而成的复杂网络系统。单一神经元可以有许多输入、输出。神经元之间的相互作用通过连接的权值体现。神经元的输出是其输入的函数。常用的函数类型有:线性函数、Sigmoid 型函数和阈值型函数[2]。虽然单个神经元的结构和功能极其简单和有限,而大量神经元构成的网络系统其行为却是丰富多彩的。图1表示出单个神经元和Hopfield 模型的结构。 在图1(a)中, i u 为神经元的内部状态, i θ为阈值,i x 为输入信号, ij w 表示从j u 到i u 连接的权值, i s 表示外部输入信号,则神经元的输入为-i i j j i i n e t w x s θ=+∑,输出为 ()i i y f n e t =,其中f 是神经元的转 换函数。 在图1(b)中。Hopfield 模型是由许多神经元构成的互连网络,适当选取神经元兴奋模式的初始状态,则网络的状态将逐渐到达一个极小点即稳定点、从而可以联想出稳定点处的样本。 神经网络的基本特征是: (1)大规模并行处理。神经网络能同时处理与决策有关的因素,虽然单个神经元的动作速度不快,但网络的总体处理速度极快。 1本课题得到教育部重点项目(03120)(基于FSOC 嵌入式微控制器设计与研究)的资助。

模糊神经网络的基本原理与应用概述

模糊神经网络的基本原理与应用概述 摘要:模糊神经网络(FNN)是将人工神经网络与模糊逻辑系统相结合的一种具有强大的自学习和自整定功能的网络,是智能控制理论研究领域中一个十分活跃的分支,因此模糊神经网络控制的研究具有重要的意义。本文旨在分析模糊神经网络的基本原理及相关应用。 关键字:模糊神经网络,模糊控制,神经网络控制,BP算法。 Abstract:A fuzzy neural network is a neural network and fuzzy logic system with the combination of a powerful. The self-learning and self-tuning function of the network, is a very intelligent control theory research in the field of active branches. So the fuzzy neural network control research has the vital significance. The purpose of this paper is to analysis the basic principle of fuzzy neural networks and related applications. Key Words: Fuzzy Neural Network, Fuzzy Control, Neural Network Control, BP Algorithm.

1人工神经网络的基本原理与应用概述 人工神经网络的概念 人工神经网络(Artificial Neural Network,简称ANN)是由大量神经元通过极其丰富和完善的联接而构成的自适应非线性动态系统,它使用大量简单的相连的人工神经元来模仿生物神经网络的能力,从外界环境或其它神经元获得信息,同时加以简单的运算,将结果输出到外界或其它人工神经元。神经网络在输入信息的影响下进入一定状态,由于神经元之间相互联系以及神经元本身的动力学特性,这种外界刺激的兴奋模式会自动地迅速演变成新的平衡状态,这样具有特定结构的神经网络就可定义出一类模式变换即实现一种映射关系。由于人工神经元在网络中不同的联接方式,就形成了不同的人工神经网络模式,其中误差反向传播网络(Back-Propagation Network,简称BP网络)是目前人工神经网络模式中最具代表性,应用得最广泛的一种模型【1,2】。 人工神经网络研究的发展简史 人工神经网络的研究己有近半个世纪的历史但它的发展并不是一帆风顺的,神经网络的研究大体上可分为以下五个阶段[3]。 (1) 孕育期(1956年之前):1943年Mcculloch与Pitts共同合作发表了“A logical calculus of ideas immanent in Nervous Activity”一文,提出了神经元数学模型(即MP模型)。1949年Hebb提出Hebb学习法则,对神经网络的发展做出了重大贡献。可以说,MP模型与学习规则为神经科学与电脑科学之间架起了沟通的桥梁,也为后来人工神经网络的迅速发展奠定了坚实的基础。 (2)诞生期(1957年一1968年):1960年Widrow提出了自适应线性元件模型,Rossenbaltt在1957年提出了第一种人工神经网络模式一感知机模式,由二元值神经元组成,该模式的产生激起了人工神经网络研究的又一次新高潮。(3)挫折期(1969年一1981年):1969年Minsky等人写的《感知机》一书以数学方法证明了当时的人工神经网络模式的学习能力受到很大限制。之后,人工神经网络的研究一直处于低潮。

神经网络的基本原理

神经网络的基本原理 在神经网络系统中,其知识是以大量神经元互连和各互连的权值表示。神经网络映射辨识方法主要通过大量的样本进行训练,经过网络内部自适应算法不断调整其权值,以达到目的。状态识别器就隐含在网络中,具体就在互连形式与权值上。在网络的使用过程中,对于特定的输入模式,神经网络通过前向计算,产生一输出模式,通过对输出信号的比较和分析可以得到特定解。目前,神经网络有近40多种类型,其中BP 网络是最常用和比较重要的网络之一,本文就应用BP 网络进行齿轮计算中相应数据图表的识别映射。 BP 网络模型处理信息的基本原理是:输入信号X i 通过中间节点(隐层点)作用于输出节点,经过非线形变换,产生输出信号Y k ,网络训练的每个样本包括输入向量X 和期望输出量t ,网络输出值Y 与期望输出值t 之间的偏差,通过调整输入节点与隐层节点的联接强度取值W ij 和隐层节点与输出节点之间的联接强度T jk 以及阈值,使误差沿梯度方向下降,经过反复学习训练,确定与最小误差相对应的网络参数(权值和阈值),训练即告停止。此时经过训练的神经网络即能对类似样本的输入信息,自行处理输出误差最小的经过非线形转换的信息。 BP 网络的学习过程是通过多层误差修正梯度下降法进行的,称为误差逆传播学习算法。误差逆传播学习通过一个使误差平方和最小化过程完成输入到输出的映射。在网络训练时,每一个输入、输出模式集在网络中经过两遍传递计算:一遍向前传播计算,从输入层开始,传播到各层并经过处理后,产生一个输出,并得到一个该实际输出和所需输出之差的差错矢量;一遍反向传播计算,从输出层至输入层,利用差错矢量对连接权值和阀值,进行逐层修改。 经过训练好的BP 网络即可付诸应用。学习后的网络,其连接权值和阀值均已确定。此时,BP 模型就建立起来了。网络在回想时使用正向传播公式即可。 BP 网络由输入层结点,输出层结点和隐含层结点构成,相连层用全互连结构。图1为典型的三层结构网络模型。 图1 三层网络结构图 神经网络的工作过程主要分为两个阶段:一个是学习期,通过样本学习修改各权值,达到一稳定状态;一个是工作期,权值不变,计算网络输出。 BP 网络的学习过程由正向传播和反向传播两部分组成。在正向传播过程中,输入信息从输入层经隐含层单元逐层处理,并传向输出层,每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出,则转入反向传播,将误差信号沿原来的路径返回,通过修改各层神经元的权值,使得误差信号最小。当给定一输入模式 12(,,...,)m X x x x =和希望输出模式12(,,...,)n Y y y y = 时,网络的实际输出和实际误差,可用下列公式求出:

基于神经网络的全局稳定性分析

Computer Knowledge and Technology电脑知识与技术第6卷第16期(2010年6月) 神经网络模型平衡点的全局稳定性 高艳超,程毅,刘天宝,孙佳慧 (空军航空大学数学教研室,吉林长春130022) 摘要:该文介绍了一类Hopfield神经网络模型问题,证明了此类系统的平衡点是全局指数稳定的。 关键词:Hopfield神经网络;平衡点;矩阵 中图分类号:O175.21文献标识码:A文章编号:1009-3044(2010)16-4477-01 The Global Exponential Stability of Equilibrium for a Class of Hopfield Neural Networks GAO Yan-chao,CHENG Yi,LIU Tian-bao,SUN Jia-hui (Teaching and Research Section of Mathematics,Aviation University of Air Force,Changchun130022,China) Abstract:It introdces a class of Hopfield Neural Networks,which the global exponential stability of equilibrium for a class of Hopfield Neural Networks is proved. Key words:hopfield neural network;equilibrium;matrix 1引言和预备知识 在20世纪80年代初期神经网络研究重新兴起,这在很大程度上归功于美国生物物理学家J.J.Hopfield的工作,他提出了以他的名字命名的Hopfield神经网络。Hopfield神经网络及其众多变形之所以受到众多学者的关注,是因为它们在模式识别、联想记忆、并行计算和解决困难的最优化问题上都具有极其优越的潜能。 本论文研究下面具有初值条件x(0)=x0的神经网络模型: (*)其中x=(x1,x2,…,x n)T∈R n是状态向量,x觶表示x(t)关于t的导数, 是外部输入常数向量,T=(t ij)∈R n×n是关联(状态反馈)矩阵, 是一个映射,为输出向量,I=(I1,…,I2)T∈R n是外部输入常数向量。 2主要结果 讨论具有初值条件x(0)=x0的神经网络模型:,其中B,I满足系统(*)中的条件,证明存在惟一的平衡点。对g,B,T作以下假设: (H1)假设g∈GLC,即:常数L j,其中 。这里考虑的激励函数可以是无界的、不可微的、不单调的。 (H2)假设B,T满足:,其中λmax(TT T)为矩阵TT T的最大特征值,。 因为TT T是半正定的,所以可以取λmax(TT T),并且,我们可以找到L max=max{L1,L2,…,L n},使 定理:若g满足假设(H1),B,T满足假设(H2),则神经网络模型(*)是全局指数稳定的。 证明:为了讨论系统(4-1)的平衡点ξ=(ξ1,ξ2,…,ξn)T的稳定性问题,我们作平移变换。令 于是,系统可化为有初值条件z(0)=x0-ξ的神经网络模型。 z觶(t)=Bz(t)+Tg(z(t)) 其中g(z(t))=g(z(t)+ξ)-g(ξ)。而且,存在L max=(L1,L2,…,L n),使。 我们构造以下Lyapunov函数: 由链式法则知: (下转第4481页)收稿日期:2010-03-17 ISSN1009-3044 Computer Knowledge and Technology电脑知识与技术 Vol.6,No.16,June2010,pp.4477,4481 E-mail:eduf@https://www.wendangku.net/doc/9e15890320.html, https://www.wendangku.net/doc/9e15890320.html, Tel:+86-551-56909635690964

模糊神经网络控制器的优化设计

文章 @=D N =D CM 9=C 8

络辨识器!"##$ 及被控对象%控制器的输入为偏差&和偏差变化率’&(输出为控制量)%神经网络辨识器!"##$ 用来逼近被控对象输出( 由其提供被控对象输出对输入的导数信息 %B (@4*(+C B 4*(+(D(E - 输出>A @B !+$4H I @B 4678!?@B !+$ $(@4*(+C B 4*(+(D E -式中F @B 与G @B 分别为高斯函数的中心值及宽度值参数2J $第三层!模糊规则层$> 该层的每个结点代表*条规则2输入>?!J $!B 5*$E ;K 4A !+$*B A !+$ +K ( B 4*(+(D(E C K 4*(+(D(E -输出>A !J $@4H @ 4?!J $@(@4*(+(D L !4E +$-M $第四层!输出层$> 所有规则层结点均与该层结点连接(完成解模糊(每个连接权代表该条规则输出隶属函数的中心值2 输入>?!M $ 4N L O 4* A O !J $P O (P O 为输出层连接权值-输出>A !M $4)Q 4 ?!M $ N L O 4* A !J $ O - * **第R 期 模糊神经网络控制器的优化设计 万方数据

BP神经网络基本原理

5.4 BP神经网络的基本原理 BP(Back Propagation)网络是1986年由Rumelhart和 McCelland为首的科学家小组提出,是一种按误差逆传播算 法训练的多层前馈网络,是目前应用最广泛的神经网络模型 之一。BP网络能学习和存贮大量的输入-输出模式映射关系, 而无需事前揭示描述这种映射关系的数学方程。它的学习规 则是使用最速下降法,通过反向传播来不断调整网络的权值 和阈值,使网络的误差平方和最小。BP神经网络模型拓扑结 构包括输入层(input)、隐层(hide layer)和输出层(output layer)(如图5.2所示)。 5.4.1 BP神经元 图5.3给出了第j个基本BP神经元(节点),它只模仿了生物神经元所具有的三个最基本也是最重要的功能:加权、求和与转移。其中x1、x2…x i…x n分别代表来自神经元1、2…i…n 的输入;w j1、w j2…w ji…w jn则分别表示神经元1、2…i…n与第j个神经元的连接强度,即权值;b j为阈值;f(·)为传递函数;y j为第j个神经元的输出。 第j个神经元的净输入值为: (5.12) 其中: 若视,,即令及包括及,则

于是节点j的净输入可表示为: (5.13)净输入通过传递函数(Transfer Function)f (·)后,便得到第j个神经元的输出 : (5.14) 式中f(·)是单调上升函数,而且必须是有界函数,因为细胞传递的信号不可能无限增加,必有一最大值。 5.4.2 BP网络 BP算法由数据流的前向计算(正向传播)和误差信号的反向传播两个过程构成。正向传播时,传播方向为输入层→隐层→输出层,每层神经元的状态只影响下一层神经元。若在输出层得不到期望的输出,则转向误差信号的反向传播流程。通过这两个过程的交替进行,在权向量空间执行误差函数梯度下降策略,动态迭代搜索一组权向量,使网络误差函数达到最小值,从而完成信息提取和记忆过程。 5.4.2.1 正向传播 设 BP网络的输入层有n个节点,隐层有q个节点,输出层有m个节点,输入层与隐层之间的权值为,隐层与输出层之间的权值为,如图5.4所示。隐层的传递函数为f1(·),输出层的传递函数为f2(·),则隐层节点的输出为(将阈值写入求和项中):

智能控制大作业-神经网络

智能控制与应用实验报告神经网络控制器设计

一、实验内容 考虑一个单连杆机器人控制系统,其可以描述为: Mq + 0.5mgl sin(q) = r y = q 其中M = 0.5kgm2为杆的转动惯量,“7 = 1kg为杆的质量,/ = \m为杆长, g=9.8/n/52, g为杆的角位置,刁为杆的角速度,刁为杆的角加速度,丁为系统的控制输入。具体要求: 1、设计神经网络控制器,对期望角度进行跟踪。 2、分析神经网络层数和神经元个数对控制性能的影响。 3、分析系统在神经网络控制和PID控制作用下的抗干扰能力(加噪声干扰、加参数不确定)、抗非线性能力(加死区和饱和特性)、抗时滞的能力(对时滞大小加以改变)。 4、为系统设计神经网络PID控制器(选作)。 二、对象模型建立 根据公式(1),令状态量得到系统状态方程为: r 一0?5 水〃?g/*sin(xj Af 山此建立单连杆机器人的模型如图1所示。 x2

图1单连杆机器人模型 三、系统结构搭建及神经网络训练 1 ?系统PID结构如图2所示: 图2系统PID结构图 PID参数设置为Kp二16, Ki二10, Kd二8得到响应曲线如图3所示:q 0.5 A mgl

1.4 0.4 ? 0.2 ; ? Q } r r r 「 「 r r r r 0123456789 10 t/s 图3 PID 控制响应曲线 采样PID 控制器的输入和输出进行神经网络训练 p 二[al' ;a2, ]; t 二b ,; net=newff ([-1 1;T 1;T 1], [3 8 16 8 1], {' tansig" ' tansig 5 1 tansig , logsig , ' pure 1 in 1}); 产生的神经网络控制器如图4所示: 图3神经网络工具箱 训练过程如图4所示: 1.2 Custom Neural Network

相关文档