教材第1章 引论

第1章 引 论

1.1 最优控制问题的提法

所谓最优控制问题,就是在一切可能的控制方案中寻求最优控制方案或最优控制规律,使控制系统最优地达到预期的目标。随着航海、航天、导航和控制技术不断深入研究,系统的最优化问题已成为一个重要的问题。最优控制理论也取得了很大的进展，并成为现代控制理论的一个非常重要的分支。

从下面几个简单的例子，我们可以进一步了解什么是最优控制问题，以及研究最优控制问题的重要性和必要性。

【例1—1】软着陆问题

飞船在月球的软着陆就是要使飞船落到月球时的速度为零，要达到这个目的,飞船必须依靠其发动机产生一个与月球重力相反的推力f，同时为使发动机燃料的消耗为最少，就必须寻求发动机推力的最优控制规律。

设飞船的质量为m(t),高度为h(t),垂直速度为v(t),发动机推力为u(t),月球的重力加速度为常数g,不带燃料时飞船质量为M，初始燃料总质量为F，那么飞船的运动方程可以表示为： )()()()()

()()(t ku t m

g t m t f t v t v t h

?=?== (1—1) 其中k 是常数。 要求控制飞船从初始状态

F M m v v h h +===)0()0()0(00 （1—2） 出发，在某一终端时刻f t 实现软着陆，即

0)(0

)(==f f t v t h （1—3） 假定发动机的最大推力为max f ,即 max )(0f t f ≤≤ （1—4） 满足上述条件，使飞船软着陆的推力f(t)并非是唯一的，但消耗燃料最少的并实现软着陆的推力f(t) 才是我们所要求的目标。消耗燃料最少也就是飞船着陆时的质量最大，即飞船软着陆问题可归结为：

初始条件： F M m v v h h +===)0()0()0(00

终端条件： 0)(0)(==f f t v t h

约束条件： max )(0f t f ≤≤

性能指标： )(t m J =

达到最大值的数学问题。

【例1—2】导弹拦截问题

在现代战争中导弹的威力越来越大，如何快速防御敌方的来袭导弹成为现代高科技战争的一个重要的课题。

为简单起见，假设来袭导弹和拦截导弹是在同一个平面内运动，设x(t)、v(t)分别表示拦截导弹L 与来袭导弹M 的相对位置向量和相对速度向量。α(t)是相对加速度向量，包括空气动力与地心引力所产生的加速度在内，它是x、v 的函数。既然位置向量和速度向量是由运动微分方程所确定的时间函数，因此，相对加速度也可看成时间的函数。设m(t)是拦截导弹的质量，F(t)是其推力的大小。u 是拦截导弹推力方向的单位矢量，C 是有效喷气速度，可视为常数。于是，拦截导弹L 与来袭导弹M 的相对运动方程能写成：

C

t F t m u t m t F t t v

t v t x

)

()()()()()()()(?=+== α （1—5） 初始条件：

00000

0)()()(m t m v t v x t x === （1—6）

终值条件： 要求拦截导弹L 从相对于来袭导弹M 的初始状态出发，在某末态时刻f t 与来袭导弹M 相遇（实现拦截），即：

0=)(f t x （1—7） 约束条件：

为最终实现拦截，既要控制拦截导弹的推力大小F(t)，又要控制推力方向u,导弹的最大推力Fmax 是有一定限度的，推力F(t)应该满足：

max )(0F t F ≤≤ （1—8） 末态时刻拦截导弹的质量m(f t )大于所有燃料耗尽时的质量

e f m t m ≥)( （1—9） 至于单位矢量u 的幅度为1，其方向不受限制 1222=++=z y x u u u u

（1—10） 性能指标：

一般来说，要达到拦截的目的的F（t）、u(t)和f t 并非是唯一的，为了实现

快速拦截，并尽可能地节省燃料，可取性能指标为：

[]dt t F C J f

t t ∫+=0)(1 （1—11）

式中1C 是一个加权函数。

导弹快速拦截问题变为在性能指标意义下的最优拦截问题。

由以上例子，可知最优控制问题可以用数学的方法描述，并包含以下几个方面的内容：

1、系统的数学模型

控制系统的数学模型反映系统运动过程应遵循的规律，可以用状态空间表达式来表示：

状态方程： ]),(),([)(t t u t x f t x = （1—12）

输出方程： ]),(),([)(t t u t x g t y = （1—13） 其中： x(t)为n 维的状态矢量，u(t)为r 维的控制输入矢量，f、g 为矢量函数，t 为时间变量。

2、系统的初态和终态

动态系统的初态和终态，也就是状态方程的边界条件。动态系统的运动归根结底是在状态空间里从一个状态转移到另一个状态，其运动随时间变化对应于状态空间的一条轨线，轨线的初始状态可以记为x(t 0), t 0为初始时间，x(t 0)为初始状态，轨线的终端状态可记为x(f t ),f t 为到达终态的时间，x(f t )为终端状态。

在最优控制问题中，初始状态一般是已知的，而终端状态可以归结为以下两种情况：

（1）终端时间和终端状态都是固定的

终端时间固定指到达终点的时间是已知的或固定的，即f t 是一个定值。终端状态固定指终端状态x(f t )对应于状态空间的一个固定点。

（2）终端时间固定，终端状态是自由的

终端状态自由是指终端状态是一个运动的点，不再是一个点，而是一个满足所有条件的终端状态的集合，这个点的集合称为目标集，可以用S 来表示。

对于以上两种情况，我们都可以用一个目标集S 来概括，如果终端状态受某些条件的约束，则目标集S 为状态空间的一个曲面；如果终端状态不受任何条件的约束，则目标集S 扩展到整个状态空间；如果终端状态固定，则目标集S 仅有一个元素。

3、系统性能指标

在状态空间中从初始状态转移到终态，可以通过不同的控制作用来实现，如何来衡量系统在每一个控制作用下的好坏，需要用一个标准对它进行量化评定。

这个评比的标准我们称之为性能指标。

最优控制问题是指在规定的性能指标下，研究如何使系统的性能达到最优，因此当控制系统所要解决的矛盾不同时，其规定的性能指标的内容和形式必定不同，我们无法为各式各样的最优控制问题提出一个统一格式的性能指标。不存在放之四海皆准，能够解决任何控制问题的统一格式性能指标，也不存在使任何性能指标都达到最优的系统。

性能指标一般用J 来表示，在很多技术资料中被赋予不同的名称，如性能泛函、价值函数、目标函数、效益函数等。

4、容许控制集

对于一个实际的控制问题，输入控制的u(t)的取值必定要受一定条件的约束，满足约束条件的控制作用u(t)的一个取值对应于r 维空间的一个点，所有满足条件的控制作用u(t)的取值构成r 维空间的一个集合，记为Ω，我们称之为容许控制集。凡是属于容许控制集Ω的控制，都是容许控制。

求解最优控制问题的关键，就是在规定的性能指标要求下，找出其最优控制作用u(t)，使系统的性能达到最优。最优控制作用用u*(t) 来表示，控制作用u(t)必需要满足以下三个条件才是最优控制作用u*(t)：

（1）最优控制一定是容许控制，即u*(t)∈Ω；

（2）u*(t)可以使系统从初始状态转移到目标集S 中的某个终端状态；

（3）u*(t)可以使性能指标J 取极大或极小值，即达到某种意义下的最优。 根据以上分析，我们可以把最优控制问题的提法抽象为一个数学问题： 设系统的状态方程为：

]),(),([)(t t u t x f t x

= （1—14） 初始条件是：

00x t x =)(

其中n R t x ∈)(，Ω∈∈T R t u )(,],[f t t t 0∈, 矢量函数]),(),([t t u t x f 是)(t x 、)(t u 、t 的连续函数，并对)(t x 和t 连续可微。若存在一个在],[f t t 0区间内有第一类间断点的分段连续的控制作用)(t u ,能使系统从初态0x 转移到终态S x f ∈,并使下列性能指标：

∫+Φ=f t t f f dt t t u t x L t t x u J 0)),(),([]),([)( （1—15）

取得最大或最小值的控制作用)(t u 称为最优控制，记为)(*t u 。与之对应的)(t x 称为最优轨线，记为)(*t x 。

其中：)],([f f t t x Φ和]),(),([t t u t x L 都是)(t x 和t 的连续可微函数。

可见，最优控制属于系统综合与设计范畴．最优控制的任务是：给定一个被控系统(controlled system)或被控过程(controlled process)（包括有关的约

束条件和边界条件）以及性能指标(performance index)，如何设计相应的控制系统(controlling system)，使得在满足约束条件和边界条件的同时，其性能指标达到极小（或极大）。

1.2 最优控制问题的分类及求解方法

了解什么是最优控制问题，我们可以按最优控制研究的对象和研究的问题作一个简要的分类。

1、无约束与有约束的最优化问题

研究最优控制的目的就是要求解使性能指标最优的控制作用，如果控制变量的取值范围是不受限制的，则称为无约束的最优化问题，这类问题比较简单，问题的最优解就是性能指标的极值。

但是，在实际的控制问题中，控制变量的取值范围总是要受一定的条件约束，控制变量在一定条件约束下来研究性能指标的最优问题称为有约束条件的最优化问题。约束条件可划分为等式约束和不等式约束条件，因此有约束条件的最优化问题也就可以分为等式约束下的最优化问题和不等式约束条件下的最优化问题。

例如，某公司要在规定的时间内对其产品的生产做一个计划，那么它必须根据库存量、市场对该产品的需求量以及生产率来考虑，使产品的生产成本最低。那么这个问题就是一个经济学的最优控制问题。

设T 是一个固定时间，)(t x 表示在时刻)(T t t ≤≤0时的产品存货量，)(t r 表示在时刻t 时对产品的需求率。这里假定)(t r 是一个定义上的时间t 的已知连续函数,)(t u 表示在时刻t 的生产率，函数)(t u 由生产计划人员来选取，它就是生产计划或者叫做控制。取)(t u 为分段连续函数，则存货量由微分方程 0)0()()(x x t u t r dt dx =+?= （1—16） 确定，其中0x 是原来的厍存量。

设该产品在单位时间内的生产成本是生产率的函数，即单位时间的生产成本是)]([t u h ，0>b 是单位时间贮藏单位商品的费用。于是，在时刻t 的该公司生产这个产品的单位时间的成本是：

)()]([)](),(,[t br t u h t u t x t f += （1—17）

因此，在规定时间T 内生产该产品的总成本为：

∫=t dt t u t x t f u J 0

)](),(,[)( （1—18） 对于生产计划人员来说，就是要选取一个控制)(t u 使得总成本)(u J 达到极小值。

如果对于)(t x 、)(t r 和)(t u 不加任何的限制，那么这就是一个无约束的最优化问题。但从)(t x 的实际意义来看，公司的库存量不可能是无限的，要受一定条件的限制：

A t x ≤≤)(0 A 为公司最大库存量

生产计划)(t u 是公司的生产率，要受公司生产设备的限制：

B t u ≤≤)(0 B 为公司最大生产率

产品的需求率)(t r ，也不可能是无限的，也要受一定的限制：

C t r ≤≤)(0 C 为产品的最大需求率

如果在做计划时考虑这些条件的限制，那么这个问题就是一个在不等式约束条件约束下的最优化问题。

2、确定最优和随机规划问题

确定性最优问题是指系统中每一个变量的变化规律是确定的，可以用一个确定的关系式来描述。比如电路中用电器耗电量与时间的关系。随机性最优控制问题是指系统中有些变量不能用一个确定的表达式来描述，但可以根据实验统计的方法确定其概率分布规律。比如上述例子中的产品需求率，如果该产品是季节性的产品，则在不同的季节其需求率是不同的，可能无法得到确定数学描述表达式，可以采用市场调查的手段分析其概率分布规律，表示成数学规划模型。对于某些能表示成数学规划模型的随机最优问题，可以和确定性最优问题一样采用规划方法求解，这称为随机规划。

3、线性和非线性最优化问题

如果目标函数和所有约束条件均为变量的线性函数（线性的），则称为线性最优化问题或线性规划问题。

如果目标函数或约束条件中至少有一个变量是非线性的，则称为非线性最优化问题或非线性规划问题。

线性规划问题是非线性规划问题的一个特例，求解线性规划问题有很成熟的方法，比较容易求解。求解非线性规划问题则困难得多。在实际工程应用中，往往采用线性化方法，用线性函数来近似非线性最优化中的非线性函数，把非线性最优化问题转化成线性最优化问题。

4、静态和动态最优化问题

如果最优化问题的解不随时间而变化，则称为静态最优化（参数最优化）问题。如果最优化问题的解随时间而变化，则称为动态最优化（最优控制）问题。解决静态最优化问题可以用线性规划和非线性规划方法，解决动态最优化问题可以用动态规划或极小值原理。事实上，动态最优化问题和静态最优化方法不是完全对立的。如果动态最优化问题可以表示为线性规划的数学模型，则完全可以用线性规划的方法来求解动态最优化问题。动态规划不但可以用来求解动态最优化

问题，而且可以用来求解静态最优化问题。

5、网络最优化问题

如果最优化问题的模型可以用网络图表示，则在网络图上寻优称为网络最优化问题。网络最优化问题是一种复杂系统的规划方法，在运输、通信、电路、计算机网络以及工程施工的分析、设计、规划中得到非常广泛的应用。

最优控制在控制模型建立之后，主要问题就是如何找到一个方法解决寻优问题，这也是最优控制研究的主要问题。最优化问题的求解方法大致可以分为如下四类：

1、解析法

解析法的求解方法是先按照函数极值的必要条件，用求导或变分法求出其解析解，然后按照充要条件或问题的实际物理意义确定其最优解。这种方法适合于目标函数和约束条件具有简单而明确的数学表达式一类的最优化问题。

2、数值计算法

这种方法的基本思路就是：采用直接搜索方法经过一系列的迭代运算产生点的序列，使其逐步接近最优点。直接法往往是根据经验和不断的试验而得到最优解。这种方法适合于目标函数比较复杂甚至无明确的数学表达式或无法用解析法来求解的最优控制问题，

3、梯度法

这种方法是一种解析与数值计算相结合的方法，在求解最优化问题时，不仅要计算目标函数的值，而且还要计算目标函数的一阶或高阶导数，求出目标函数的梯度并以梯度的方向作为搜索极值的方向，这种方法适合于多变量最优化问题的求解。以梯度法为基础的数值解法主要有最速下降法、牛顿法与拟牛顿法、牛顿—高斯最小二乘法、变尺度法以及共轭梯度法。

4、网络最优化法

网络最优方法是基于图论方法进行搜索的寻优方法，主要适用于可以用网络图描述的系统。

本书仅介绍最优控制的解析求解方法。

1.3 最优控制的发展

最优控制理论是现代控制理论的一个重要组成部分,它的发展与现代控制理论的发展是分不开的,迄今为止,控制理论的发展经历了古典控制理论和现代控制理论的两个重要发展阶段,并进入了大系统理论和智能控制理论的第三个阶段。

第二次世界大战期间及其后的一段时间内发展起来的自动控制理论（古典或经典控制理论），对于设计和分析单输入单输出的线性时不变系统是非常有效的，

但是随着近代航空及空间技术的发展对控制精度提出了很高的要求，并且被控对象是多输入多输出系统，用传递函数方法、频率特性方法处理这一类问题变得很复杂，以致难以应用。面对实际工程应用中提出的种种问题，人们从问题的原始提法出发，更深入的了解控制系统的内在规律性，充分挖掘时域分析方法的优点，建立了以状态空间法为基础的现代控制理论。

现代控制理论所能处理的问题范围很广。原则上，它可以用来处理时变系统、非线性系统、多输入多输出系统以及分布参数系统的问题。用它来处理随机系统问题和离散系统问题同样是很方便的。

早在20世纪50年代初期，就有从工程角度研究最短时间控制问题的论文发表，虽然最优性的证明借助于几何图形，带有启发性质，但它为现代控制理论的发展提供了第一批实际模型。随后，最优控制问题的深入研究以及空间技术的迫切需要吸引了一大批数学家的密切注意。通过研究人们发现，最优控制问题的本质是一变分问题。

经典变分理论只能解决无约束或开集性约束一类简单的最优控制问题，而实际上工程应用中往往是容许控制，属于闭集的一类最优控制问题，经典变分理论无能为力，这就需要人们去探索求解最优控制问题的新途径。

在种种新方法中，有两种方法最富成效。一种是苏联学者庞特里亚金的“极小值原理”；另一种是美国学者贝尔曼(R．E．Bellman)的“动态规划”。受力学中哈密尔顿原理的启发，庞特里亚金等人把“极小值原理”作为一种推测首先提出来，随后不久又提供了一种严格的证明，并于1958年在爱丁堡召开的国际数学会议上首次宣读。“极小值原理”发展了经典变分原理，成为处理闭集性约束变分问题的强有力工具。“动态规则”是贝尔曼在1953至1957年间逐步创立的。他依据最优性原理，发展了变分学中的哈密尔顿—雅可比理论，构成了“动态规划”，它是一种适用于计算机计算、处理问题范围更广泛的方法。在现代控制理论的形成与发展中，极小值原理、动态规划和卡尔曼的最优估计理论起了重要的推动作用。

最优控制理论的发展很大程度上得益于数字计算机的不断发展，数字计算机运算速度的提高、存储容量的增大、体积的缩小以及软件的广泛应用，使数字计算机不仅是控制系统分析与设计的强有力的工具，而且逐渐成为自动控制系统的主要部件之一。计算机“在线”参与控制，使得许多不要求把控制器归结为简单的校正网络，也不一定要求有封闭形式的解析解的复杂控制方法在实际工程应用中有了可能。这又反过来提出许多新的理论和问题，导致诸如最优控制的直接和间接计算的大批研究成果的出现，进一步推动了现代控制理论的发展。

近20年，现代控制理论和现代控制工程应用中，吸收了现代数学的很多成果，又得到了很大发展，并渗透到生产、生活、国防、城市规划、智能交通、管理等许多领域，发挥了愈来愈大的作用。最优控制的发展成果主要包括分布式参

数的最优控制、随机最优控制、自适应控制、大系统最优控制、微分对策等，最优控制理论形成了比较完善的理论体系，为现代控制工程做了比较充分的理论准备。特别要指出的是，随着高性能嵌入式系统的应用和发展，最优控制理论研究将是一个十分活跃的研究领域，最优控制理论在实际工程中应用将愈来愈广泛。

1.4 本书的主要内容

本书共有8章内容，分别介绍如下：

第1章——引论。这部分主要对最优控制问题的提法、最优控制的分类、及最优控制的发展简史作一个简要说明。

第2章——最优控制中的变分法。在介绍变分法的基础上，着重讨论最优控制与经典变分法在一定条件下互相转化问题，并给出经典变分法在解决最优控制问题中的基本思想及一些基本结果。

第3章——极小值原理。这部分内容主要介绍极小值原理，并对极小值原理的各种形式加以必要的证明和解释，在此基础上对连续系统和离散系统的极小值原理加以比较，最后讨论连续系统的离散化处理。

第4、5章——最短时间控制系统及最少燃料控制系统。这部分内容主要介绍砰-砰（Bang—Bang）控制原理，重点讨论线性时不变系统和双积分系统模型的时间、燃料最优控制问题，并对时间—燃料最优控制系统的控制规律和工作特点作一些说明。

第6章——线性二次最优控制系统。这部分简要介绍二次型性能指标，着重研究了状态调节器、输出调节器和最优跟踪问题。

第7章——动态规划。这部分在介绍多级决策过程及最优性原理的基础上，着重讨论离散系统的动态规划、递推方程和连续控制系统的动态规划、哈密尔顿—雅可比方程。

第8章——最优控制设计方法及MATLAB实现。主要介绍最优控制系统的工程设计方法及应用实例。