实验2 最速下降法和共轭梯度法的程序设计

实验2 最速下降法和共轭梯度法的程序设计

一、实验目的

1、熟悉无约束优化问题的最速下降算法和共轭梯度法。

2、培养matlab 编程与上机调试能力。

二、实验课时：2个课时

三、实验准备

1、预习无约束优化问题的最速下降算法和共轭梯度法。

2、熟悉matlab 软件的基本操作及程序编写。

四、实验内容

课堂实验演示

根据最速下降法编写程序，求函数

21222121342)(min x x x x x x x f -++-=

的极小值，其中初始点为()01,1T x =

算法步骤如下：

Step1:：给出初始点0x ，和精度1;0k ε<<=；

Step2：计算()k f x ?，如果()k f x ε?≤，则停止迭代，输出结果；否则转step3； Step3：令下降方向()k k d f x =-?，计算步长因子k λ使得0()min ()k k k k k f x d f x d λλλ≥+=+，令1,1k k k k x x d k k λ+=+=+，转step2。

其程序如下：

function [x,iter,val,dval] = Steepest_Descent_Method(x,eps) k = 1;

dy = grad_obj(x);

x_mat(:,1) = x;%存储每一次迭代得到的点x

while norm(dy)>eps

d = -dy; % 搜索方向

lambda = line_search(x,d);%步长

x = x + d*lambda;

k = k + 1;

x_mat(:,k) = x;

dy = grad_obj(x);

end

iter = k - 1;

val = obj(x);%目标函数在极值点处的函数值

dval = grad_obj(x);%目标函数在极值点处的梯度

%-------------------------------------------------------------- x1 = linspace(-1.2,1.2,40);

x2 = linspace(-0.2,1.2,40);

[xx,yy] = meshgrid(x1,x2);

for i = 1:length(x1)

for j = 1:length(x2)

z(i,j) = obj([xx(i,j);yy(i,j)]);

end

end

contour(xx,yy,z,10);%画出目标函数的等高线

hold on

plot(x_mat(1,:),x_mat(2,:),'-o')%画出最速下降法的迭代路径

hold off

function y = obj(x)

%目标函数

y = x(1).^2 - 2*x(1).*x(2) + 4*x(2).^2 + x(1) - 3*x(2);

function dy = grad_obj(x)

%目标函数的梯度

dy = [2*x(1) - 2*x(2) + 1; -2*x(1) + 8*x(2) - 3];

function lambda = line_search(xk,dk)

%作线搜索，求步长

%phi(lambda) = obj( xk + lambda*dk )

%d_phi(lambda) = dk'*grad_obj( xk + lambda*dk )

syms eqn lambda

eqn = dk'*grad_obj(xk+lambda*dk);

lambda = solve(eqn); %用符号计算命令solve 求方程d_phi(\lambda)=0的根 lambda = eval(lambda);%将符号计算的结果转化为数值类型

>> x = [1;1]; eps = 1.0e-6;

>> [x,iter,val,dval] = Steepest_Descent_Method(x,eps) x =[ -0.1667 0.3333]’

val = -0.5833

dval = [0.5280*1.0e-006 -0.1760*1.0e-006]’

iter = 43

共轭梯度法的计算步骤：

Step1: 给出初始点0x ，令)(00x f d -?=，精度1;0k ε<<=；

Step2：计算()k f x ?，如果()k f x ε?≤，则停止迭代，输出结果；否则转step3； Step3：计算k k k k d x x λ+=+1，其中步长因子k λ使得0

()min ()k k k k k f x d f x d λλλ≥+=+，计算下降方向k k k k k d x f x f x f d 22111||

)(||||)(||)(??+-?=+++； 令1+=k k ，转step2。

其程序如下：

function [x,iter,val,dval] = Conjugate_Gradient_Method(x,eps)

k = 1;

x_mat(:,1) = x;%存储每一次迭代得到的点x

x_old = x;

dy_old = grad_obj(x_old);

d_old = -dy_old;

while norm(dy_old)>eps

lambda = line_search(x_old,d_old);%步长

x_new = x_old + lambda*d_old;

dy_new = grad_obj(x_new);

coef = norm(dy_new)/norm(dy_old);

d_new = -dy_new + coef^2*d_old; % 搜索方向

k = k + 1;

x_old = x_new;

dy_old = dy_new;

d_old = d_new;

x_mat(:,k) = x_new;

%防止死循环

if k > 100

break;

end

end

x = x_new;

iter = k - 1;

val = obj(x_new);%目标函数在极值点处的函数值

dval = grad_obj(x_new);%目标函数在极值点处的梯度

%-------------------------------------------------------------- x1 = linspace(-1.2,1.2,40);

x2 = linspace(-0.2,1.2,40);

[xx,yy] = meshgrid(x1,x2);

for i = 1:length(x1)

for j = 1:length(x2)

z(i,j) = obj([xx(i,j);yy(i,j)]);

end

end

contour(xx,yy,z,10);%画出目标函数的等高线

hold on

plot(x_mat(1,:),x_mat(2,:),'-o')%画出最速下降法的迭代路径

hold off

function y = obj(x)

%目标函数

y = x(1)^2 - 2*x(1)*x(2) + 4*x(2)^2 + x(1) - 3*x(2);

function dy = grad_obj(x)

%目标函数的梯度

dy = [2*x(1) - 2*x(2) + 1; -2*x(1) + 8*x(2) - 3];

function lambda = line_search(xk,dk)

%作线搜索，求步长

%phi(lambda) = obj( xk + lambda*dk )

%d_phi(lambda) = dk'*grad_obj( xk + lambda*dk )

syms eqn lambda

eqn = dk'*grad_obj(xk+lambda*dk);

lambda = solve(eqn); %用符号计算命令solve 求方程d_phi(\lambda)=0的根 lambda = max(eval(lambda));%将符号计算的结果转化为数值类型

课堂实验任务

编写函数文件，实现最速下降法和共轭梯度法，并分别求解下列问题

22

214)(min x x x f +=， 初始点取()01,1T x =，精度取610-=ε；

五、实验主要步骤

1、安装matlab7.0及以上版本软件；

2、编写m 文件以创建和保存各函数；

3、运行程序，保存结果；

4、撰写实验报告。

六、实验报告的撰写要求

1. 写出实验课程名称、日期；

2. 写出姓名、学号；

3. 写出实验目的、实验内容；

4. 写出实验过程及结果（程序代码及数值解），尽量给出其图象;

5. 写出心得体会；

数学实验“线性方程组的最速下降法与共轭梯度法解法”实验报告(内含matlab程序代码)

西京学院数学软件实验任务书

实验五实验报告 一、实验名称：最速下降法与共轭梯度法解线性方程组。 二、实验目的：进一步熟悉理解掌握最速下降法与共轭梯度法解法思路，提高matlab 编程能力。 三、实验要求：已知线性方程矩阵，应用最速下降与共轭梯度法在相关软件编程求解线性方程组的解。 四、实验原理： 1．最速下降法： 从某个初始点)0(X 出发，沿)(X f 在点)0(X 处的负梯度方向 )0()0()0()(AX b X f r -=-?= 求得)(X f 的极小值点)1(X , 即 )(min )0()0(0 r X f λλ+> 然后从)1(X 出发，重复上面的过程得到)2(X 。如此下去，得到序列{)(k X } )(...)()()()1()0(k X f X f X f >>> 可以证明，从任一初始点)0(X 出发， 用最速下降法所得到的序列{)(k X }均收敛于问题使X 最小化)(X f 的解，也就是方程组b AX =的解。其收敛速度取决于 1 1 λλλλ+-n n ，其中1λ ,n λ分别

为A 的最小,最大特征值。最速下降法迭代格式：给定初值)0(X ， )(k X 按如下方法决定： ()) ()(1)(k )()()()(k ) ()(X ,,)(k k k k T k k T k k k k r X Ar r r r AX b X f r λλ+=> <><=-=-?=+ 2．共轭梯度法 其基本步骤是在点)(k X 处选取搜索方向)(k d , 使其与前一次的搜索方向)1(-k d 关于A 共轭，即 (1)()(1),0k k k d d Ad --<>= 然后从点)(k X 出发，沿方向)(k d 求得)(X f 的极小值点 )1(+k X , 即 )(min )() ()(0 )1(k d X f X f k k λλ+=>+ 如此下去, 得到序列{)(k X }。不难求得0,)1()(>=<-k k Ad d 的解为 ) () 1()1()()() () 1(,,k k k k k k k d Ad d d AX b X X > <>-<+=--+ 注意到)(k d 的选取不唯一，我们可取

最速下降法无约束最优化

《MATLAB 程序设计实践》课程考核 实践一、编程实现以下科学计算法，并举一例应用之。（参考书籍《精通MATLAB 科学计算》，王正林等著，电子工业出版社，2009年） “最速下降法无约束最优化” 最速下降法： 解： 算法说明：最速下降法是一种沿着N 维目标函数的负梯度方向搜索最小值的方法。 原理：由高等数学知识知道任一点的负梯度方向是函数值在该点下降最快的方向，那么利用负梯度作为极值搜索方向，达到搜寻区间最速下降的目的。而极值点导数性质，知道该点的梯度=0，故而其终止条件也就是梯度逼近于0，也就是当搜寻区间非常逼近极值点时，即：当▽f(a ）→0推出f(a ）→极值）（x f ，f(a ）即为所求。该方法是一种局部极值搜寻方法。 函数的负梯度表示如下： -g(x ）=-▽f(x)=-?????1 )(x x f 2)(x x f ?? … T N x x f ?????)( 搜索步长可调整，通常记为αk （第k 次迭代中的步长）。该算法利用一维的线性搜索方法，如二次逼近法，沿着负梯度方向不断搜索函数的较小值，从而找到最优解。 方法特点（1）初始值可任选，每次迭代计算量小，存储量少，程序简短。即使从一个不好的初始点出发，开始的几步迭代，目标函数值下降很快，然后慢慢逼近局部极小点。（2）任意相邻两点的搜索方向是正交的，它的迭代路径胃绕道逼近极小点。当迭代点接近极小点时，步长变得很小，越走越慢。（3）全局收敛，线性收敛，易产生扭摆现象而造成早停。 算法步骤：最速下降法的基本求解流程如下： 第一步 迭代次数初始化为k=0，求出初始点0x 的函数值f 0=f （0x ）。 第二步 迭代次数加1，即k=k+1，用一维线性搜索方法确定沿负梯度方向-1-k g 的步长1k -α，其中1k -α=ArgMinaf （111k /----k k g g x α）。 第三步 沿着负梯度方向寻找下一个接近最小值的点，其中步长为1k -α，得到下一点的坐标为：1111/-----=k k k k k g g x x α。

最优化方法实验报告(2)

最优化方法实验报告Numerical Linear Algebra And Its Applications 学生所在学院：理学院 学生所在班级：计算数学10-1 学生姓名：甘纯 指导教师：单锐 教务处 2013年5月

实验三 实验名称： 无约束最优化方法的MATLAB 实现 实验时间: 2013年05月10日 星期三 实验成绩： 一、实验目的： 通过本次实验的学习，进一步熟悉掌握使用MATLAB 软件，并能利用该软件进行无约束最优化方法的计算。 二、实验背景： （一）最速下降法 1、算法原理 最速下降法的搜索方向是目标函数的负梯度方向，最速下降法从目标函数的负梯度方向一直前进，直到到达目标函数的最低点。 2、算法步骤 用最速下降法求无约束问题n R x x f ∈，)(min 的算法步骤如下： a ）给定初始点)0(x ，精度0>ε，并令k=0； b ）计算搜索方向)()()(k k x f v -?=，其中)()(k x f ?表示函数)(x f 在点)(k x 处的梯度； c ）若ε≤)(k v ，则停止计算；否则，从)(k x 出发，沿)(k v 进行一维搜索， 即求k λ，使得)(min )()()(0 )()(k k k k v x f v x f λλλ+=+≥； d ）令1,)()()1(+=+=+k k v x x k k k k λ，转b ）。

（二）牛顿法 1、算法原理 牛顿法是基于多元函数的泰勒展开而来的，它将 )()]([-)(1)(2k k x f x f ??-作为搜索方向，因此它的迭代公式可直接写出 来： )()]([)(1)(2)()(k k k k x f x f x x ??-=- 2、算法步骤 用牛顿法求无约束问题n R x x f ∈),(min 的算法步骤如下： a ）给定初始点)0(x ,精度0>ε，并令k=0； b ）若ε≤?)()(k x f ，停止，极小点为)(k x ，否则转 c ）； c ）计算)()]([,)]([)(1)(2)(1)(2k k k k x f x f p x f ??-=?--令； d ）令1,)()()1(+=+=+k k p x x k k k ，转b ）。 （三）共轭梯度法 1、算法原理 共轭梯度法是利用目标函数梯度逐步产生共轭方向作为线搜索方向的方法，每次搜索方向都是在目标函数梯度的共轭方向，搜索步长通过一维极值算法确定。 2、算法步骤 a ）给定初始点)0(x ,精度0>ε；

16梯度法和共轭梯度法基本原理和特点

16梯度法和共轭梯度法基本原理和特点？ 梯度法又称最速下降法，基本原理是在迭代点附近采用使目标函数值下降最快的负梯度方向作为搜索方向， 求目标函数的极小值，特 点；迭代计算简单，只需求一阶偏导数，所占的存储单 元少，对初始点的要求不 高，在接近极小点位置时收敛速度很慢，共轭的特点为 在梯度法靠近极值点收敛速度放慢时，它可以构造共轭方向使其收敛速度加快， 迭代计算比较简单，效果 好，在每一步迭代过程中都要构造共轭的、方向，比较繁琐。 17迭代终止准则有哪三种？ 1）当设计变量在相邻两点之间的移动距离充分小时，可用相邻两点的矢量差的模作为终止的判据， 2）当相邻两点目标函数值之差达到充分小时，可 用两次迭代的目标函数之 差作为终止判据。 3）当迭代点逼近极值点时，目标函数在该点的梯度已达到充分小时，可用梯度的模作为

终止判据。 18 .无约束设计法，1）powell法，它是在下降迭代过运算中只需计算和比较目标函数值的大小，不需计算偏导数的方法，是较好的一种直接搜索 算法。 2）梯度法，又称最速下降法，它是采用使目标 函数值下降最快的负梯度方向作为搜索方向来求目标函数的极小值。 3）共轭梯度法，又称FR法，是利用目标函数的梯度确定共轭方向，使得计算简便而效 果好，只需利用相邻两点的梯度就可以构造一个共轭方向，这种方式产生共轭方 向并进行迭代的算法称为 共轭梯度法。 4）变尺度法，又称DFP法，为了得到既有快速收敛的性质，又能避免计算二阶导数矩阵及逆矩阵，减少计算工作量。迭代公式X=X+aS, 19有约束设计法？ 1）复合形法，在可行域中选取k个设计点作为

初始复合形的顶点，然后比较复合形个各项 目标函数值的大小，其中目标函数值最大的点为坏点，以坏点之外其余各点的中心为映 射中心，寻坏点的映射点，以映射点替换坏点，并与原复合 型除坏点之外其余各点构成就k 顶点的新的复合型，这样反复迭代直到达到精度找到最优点， 2）简约梯度法，用来解决线性约束非线性规划问题。3）罚函数法，是把一个有约束的问 题转化为一系列无约束的问 题求解，逐渐逼近最优值。 . 可靠性工程包括的三个方面？ 1可靠性设计，包括设计方面的分析，对比评价，必要时也包 括可靠性实验，生产制造中的质量控制设计 及使用维修规程的设计。 2可靠性分析，主要是失效分析，也包括故障分析 3可靠性数学， 这是数理统计方法在开展 可靠性工作中发展起来的 数学分支。 常用的可靠

共轭梯度法C语言(西安交大)

#include #include #define N 10 /*定义矩阵阶数*/ void main() { int i,j,m,A[N][N],B[N]; double X[N],akv[N],dka[N],rk[N],dk[N],pk,pkk,ak,bk; for(i=0;i

printf("\n"); printf("input the Maxtr X\n"); /*给X0输入一个初始向量*/ for(i=0;i

最优化算法实验3-最速下降法

最速下降法Matlab实现 实验目的： 1.掌握迭代法求解无约束最优化问题的基本思想 2.通过实验掌握最速下降法的Matlab算法的基本步骤 实验内容： 1.迭代法求解无约束最优化问题的基本思想 给定一个初始点x(0), 按照某一迭代规则产生一个迭代序列{x(k)}. 使得若该序列是有限的, 则最后一个点就是原问题的极小点; 否则, 若序列{x(k)} 是无穷点列时, 它有极限点且这个极限点即为原问题的极小点. 设x(k) 为第k 次迭代点, d(k) 为第k 次搜索方向, a(k)为第k 次步长因子, 则第k 次迭代完成后可得到新一轮(第k + 1 次) 的迭代点 x(k+1) = x(k) + a(k) d(k). 2.无约束优化问题迭代算法的一般框架 步0 给定初始化参数及初始迭代点x(0). 置k := 0. 步1 若x(k) 满足某种终止准则, 停止迭代, 以x(k) 作为近似极小点. 步2 通过求解x(k) 处的某个子问题确定下降方向d(k). 步3 通过某种搜索方式确定步长因子a(k), 使得f(x(k) + a(k) d(k)) < f(x(k)). 步4 令x(k+1) := x(k) + a(k) d(k), k := k + 1, 转步1. 3. 最速下降法的基本步骤 步0 选取初始点x(0) ∈R^n, 容许误差0 ≤e ?1. 令k := 1. 步1 计算g(k) = ?f(x(k)). 若‖g(k)‖≤e, 停算, 输出x(k)作为近似最优解. 步2 取方向d(k)= ?g(k). 步3 由线搜索技术确定步长因子a(k),即 min f(a(k))=f(x(k)+a(k)d(k)). 步4 令x(k+1) := x(k) + a(k)d(k)), k := k + 1, 转步1.

最新16梯度法和共轭梯度法基本原理和特点

16梯度法和共轭梯度法基本原理和特点

16梯度法和共轭梯度法基本原理和特点？ 梯度法又称最速下降法，基本原理是在迭代点附近采用使目标函数值下降最快的负梯度方向作为搜索方向， 求目标函数的极小值，特 点；迭代计算简单，只需求一阶偏导数，所占的存储单 元少，对初始点的要求不 高，在接近极小点位置时收敛速度很慢，共轭的特点为 在梯度法靠近极值点收敛速度放慢时，它可以构造共轭方向使其收敛速度加快， 迭代计算比较简单，效果 好，在每一步迭代过程中都要构造共轭的、方向，比较繁琐。17迭代终止准则有哪三种？ 1）当设计变量在相邻两点之间的移动距离充分小时，可用相邻两点的矢量差的模作为终止的判据， 2）当相邻两点目标函数值之差达到充分小时，可 用两次迭代的目标函数之 差作为终止判据。 3）当迭代点逼近极值点时，目标函数在该点的梯度已达到充分小时，可用梯度的模作为 终止判据。

18 .无约束设计法，1）powell法，它是在下降迭代过 运算中只需计算和比较目标函数值的大小，不需计算偏导数的方法，是较好的一种直接搜索 算法。 2）梯度法，又称最速下降法，它是采用使目标 函数值下降最快的负梯度方向作为搜索方向来求目标函数的极小值。 3）共轭梯度法，又称FR法，是利用目标函数的 梯度确定共轭方向，使得计算简便而效 果好，只需利用相邻两点的梯度就可以构造一个共轭方向，这种方式产生共轭方 向并进行迭代的算法称为 共轭梯度法。 4）变尺度法，又称DFP法，为了得到既有快速收敛的性质，又能避免计算二阶导数矩阵及逆矩阵，减少计算工作量。迭代公式X=X+aS, 19有约束设计法？ 1）复合形法，在可行域中选取k个设计点作为 初始复合形的顶点，然后比较复合形个各项目标函数值的大小，其中目标函数值最大的点为坏点，以坏

最优化课程设计--共轭梯度法算法分析与实现

最优化课程设计--共轭梯度法算法分析与实现(设计程序) 题目共轭梯度法算法分析与实现 班级 / 学号 14140101/2011041401011 学生姓名黄中武指导教师王吉波王微微 课程设计任务书 课程名称最优化方法课程设计院(系) 理学院专业信息与计算科学 课程设计题目共轭梯度法算法分析与实现课程设计时间: 2014 年 6月 16日至 2014 年 6月 27日 课程设计的要求及内容: [要求] 1. 学习态度要认真，要积极参与课程设计，锻炼独立思考能力; 2. 严格遵守上机时间安排; 3. 按照MATLAB编程训练的任务要求来编写程序; 4. 根据任务书来完成课程设计论文; 5. 报告书写格式要求按照沈阳航空航天大学“课程设计报告撰写规范”; 6. 报告上交时间:课程设计结束时上交报告; 7. 严禁抄袭行为，一旦发现，课程设计成绩为不及格。 一、运用共轭梯度法求解无约束最优化问题 要求:1)了解求解无约束最优化问题的共轭梯度法; 2)绘出程序流程图; 3)编写求解无约束最优化问题的共轭梯度法MATLAB程序; 4)利用编写文件求解某无约束最优化问题;

5)给出程序注释。 指导教师年月日 负责教师年月日 学生签字年月日 沈阳航空航天大学 课程设计成绩评定单 课程名称最优化理论与算法课程设计院(系) 理学院专业信息与计算科学课程设计题目共轭梯度法算法分析与实现学号 2011041401011 姓名黄中武指导教师评语: 课程设计成绩 指导教师签字 年月日 最优化方法课程设计沈阳航空航天大学课程设计用纸目录 目录 一、正 文 (1) 二、总结 ............................................................... 8 参考文 献 ............................................................... 9 附录 .. (10) 第 I 页 最优化方法课程设计沈阳航空航天大学课程设计用纸正文 一、正文 一无约束最优化问题的共轭梯度法

实验2 最速下降法和共轭梯度法的程序设计

实验2 最速下降法和共轭梯度法的程序设计 一、实验目的 1、熟悉无约束优化问题的最速下降算法和共轭梯度法。 2、培养matlab 编程与上机调试能力。 二、实验课时：2个课时 三、实验准备 1、预习无约束优化问题的最速下降算法和共轭梯度法。 2、熟悉matlab 软件的基本操作及程序编写。 四、实验内容 课堂实验演示 根据最速下降法编写程序，求函数 21222121342)(min x x x x x x x f -++-= 的极小值，其中初始点为()01,1T x = 算法步骤如下： Step1:：给出初始点0x ，和精度1;0k ε<<=； Step2：计算()k f x ?，如果()k f x ε?≤，则停止迭代，输出结果；否则转step3； Step3：令下降方向()k k d f x =-?，计算步长因子k λ使得0()min ()k k k k k f x d f x d λλλ≥+=+，令1,1k k k k x x d k k λ+=+=+，转step2。 其程序如下： function [x,iter,val,dval] = Steepest_Descent_Method(x,eps) k = 1; dy = grad_obj(x); x_mat(:,1) = x;%存储每一次迭代得到的点x while norm(dy)>eps d = -dy; % 搜索方向 lambda = line_search(x,d);%步长 x = x + d*lambda; k = k + 1; x_mat(:,k) = x; dy = grad_obj(x); end iter = k - 1; val = obj(x);%目标函数在极值点处的函数值

作业4-FR共轭梯度法

最优化方法第四次作业 题目：利用FR-共轭梯度法求解无约束优化问题222 12122min ()44412x R f x x x x x x ∈=+--。初始点(0)(0.5,1).T x =- () ()T k k T k k k k k k k g g g g k d g k g d 111110.0,;0,-----=???≥+-=-=ββ 一、程序 function [x,val,k]=frcg(fun,gfun,x0) %功能：用FR 共轭梯度法求解无约束问题min f （x ） %输入：x0是初始点，fun,gfun 分别是求目标函数和梯度 %输出：x,val 分别是近似最优点和最优值，k 是迭代次数 maxk=5000; rho=0.6; sigma=0.4; k=0; epsilon=1e-4; n=length(x0); while (k=0.0) d=-g; end end if (norm(d)

while (m<20) %用Armijo 搜索求步长 if (feval(fun,x0+rho^m*d)> x0=[-0.5,1]'; >> [x,val,k]=frcg('fun','gfun',x0) x = 1.0000 2.0000 val = -12.0000 k = 10 即22212122min ()44412x R f x x x x x x ∈=+--的极小值点x=[1;2]；minf(x)= -12。

最速下降法求解这一无约束的最优化问题

第五题： 解：选择类型为： 2/13()x t y t x e x =+ 其中123,,x x x 是待求参数。根据最小二乘原理，参数123,,x x x 是下面优化问题的解。 []2 8 1231 m in (,,)()i i i f x x x y t y == -? 用最速下降法求解这一无约束的最优化问题。 zuiyouhua.m function sh=zuiyouhua(x0) % x0为初始猜测值 syms x y z a al; %====================================== t=[0.2,1,2,3,5,7,11,16]; r1=[5.05,8.88,11.63,12.93,14.15,14.73,15.30,15.60]; minf=0; for i=1:8 r(i)=x*exp(y/t(i))+z-r1(i); %构造最小二乘最优化的目标函数 minf=r(i)^2+minf; end %====================================== f1=diff(minf,x); f2=diff(minf,y); f3=diff(minf,z); %求目标函数的梯度 F=[f1,f2,f3]; %====================================== Fx1= -subs(F,{x,y,z},x0); Fx=Fx1/norm(Fx1); k=0; %====================================== %最速下降法核心迭代程序 while 1 x1=x0+a*Fx; P=subs(minf,{x,y,z},x1); xx1=xianxing(P); %调用线性搜索函数 al=huangjing(P,xx1); %调用黄金分割法函数； x0=x0+al*Fx; Fx1= -subs(F,{x,y,z},x0); Fx=Fx1/norm(Fx1); if norm(Fx1)<5e-4 sh=x0; return; end end %====================================== function xx=xianxing(Pa) %一维搜索法线性搜索函数 aa=findsym(Pa); a1=1; h=0.5; k=0; t1=2; while 1 a2=a1+h; Pa1=subs(Pa,aa,a1); Pa2=subs(Pa,aa,a2); if Pa2< Pa1 h=t1*h; a0=a1; a1=a2; k=k+1; if k>1000 disp('迭代步数太多，可能不收敛！'); end else if k==0 h=-h; a0=a2; else c1=min(a0,a2); d1=max(a0,a2); xx=[c1,d1]; return; end end end %====================================== function al1=huangjing(Pb,xx2)

数值分析实验报告1——Hilbert矩阵的求解

数值分析课程实验报告 题目：病态线性方程组的求解 理论分析表明，数值求解病态线性方程组很困难。考虑求解如下的线性方程组的求解 Hx = b ，期中H 是Hilbert 矩阵，()ij n n H h ?=，1 1 ij h i j =+-，i ，j = 1,2，…，n 1. 估计矩阵的2条件数和阶数的关系 2. 对不同的n ，取(1,1,,1)n x =∈ ，分别用Gauss 消去，Jacobi 迭代，Gauss-seidel 迭代，SOR 迭代和共轭梯度法求解，比较结果。 3. 结合计算结果，试讨论病态线性方程组的求解。 解答过程 1.估计矩阵的2-条件数和阶数的关系 矩阵的2-条件数定义为：1 222 ()Cond A A A -=?，将Hilbert 矩阵带入有： 1222 ()Cond H H H -=? 调用自编的Hilbert_Cond 函数对其进行计算，取阶数n= 50，可得从1阶到50阶的2-条件数，以五位有效数字输出，其中前10项见表1。 表1.前十阶Hilbert 矩阵的2-条件数 从表1可以看出，随着阶数每递增1，Hilbert 矩阵的2-条件数都至少增加一个数量级，但难以观察出明显的相依规律。故考虑将这些数据点绘制在以n 为横轴、Cond （H ）2为纵轴的对数坐标系中（编程用Hilbert_Cond 函数同时完成了这个功能），生成结果如图1。

图1.不同阶数下Hilbert矩阵的2-条件数分布 由图可见，当维数较小时，在y-对数坐标系中Cond（H）2与n有良好的线性关系；但n超过10后，线性趋势开始波动，n超过14后更是几乎一直趋于平稳。事实上，从n = 12开始，系统便已经开始提出警告：“Warning: Matrix is close to singular or badly scaled.Results may be inaccurate.”。也就是说，当n较大时，H矩阵已经接近奇异，计算结果可能是不准确的。通过查阅相关资料，我找到了造成这种现象的原因：在matlab中，用inv函数求条件数过大的矩阵的逆矩阵将是不可靠的。而调用系统自带的专门对Hilbert矩阵求逆的invhilb（n）函数则不存在这个问题，生成结果如图2。 图2. 修正后的不同阶数下Hilbert矩阵的2-条件数分布

肌组织实验报告

竭诚为您提供优质文档/双击可除 肌组织实验报告 篇一：表面肌实验报告 武汉理工大学 现代数字信号处理在前沿学科中的应用实验报告 基于semg时域特征的动作识别 学院：信息工程学院 学号：姓名： 班级：电子154 实验基于semg时域特征特的动作识别 一、实验目的 1.了解肌电信号常用的时域分析方法； 2.利用mATLAb对肌电信号进行去噪、特征提取及动作识别； 二、实验设备 1.wi-Fi表面肌电信号采集卡； 2.32位windowsxp台式机（matlab7.0软件）； 3.802.11b/g无线网卡；

三、实验内容 （1）学习信号的基本去噪方法，并用mATLAb实现； （2）学习肌电信号常用的时域特征并利用matlab来进行波形长度（wL）符号改变数（ssc）、过零点（Zc）、威尔 逊赋值（wAmp）等特征的提取； （3）学习神经网络信号处理方法，掌握bp神经网络的用法，将其用于肌电信号的动作识别。 学习以上三个部分，最终完成一整套肌电信号去噪、特征提取（选取一种特征）、基于特征的动作识别的mATLAb程序。 四、实验原理 （1）小波去噪 小波去噪方法是一种建立在小波变换基础上的新兴算法，基本思想是根据噪声在不同频带上的小波分解系数具有不同强度分布的特点，将各频带上的噪声对应的小系数去除，保留原始信号的小波分解系数，然后对处理后系数进行小波重构，得到纯净信号。 小波去噪的基本原理图如下 （2）特征提取 时域分析是将肌电信号看成均值为零，而方差随着信号强度的变化而变化的随机信号。时域特征的计算复杂度低，提取比较方便。

最常用的方法有：方差，过零点数（Zerocrossing,Zc），willison幅值（willisonAmplitude,wAmp），绝对值平均值(meanAbsoluteValue,mAV）和波形长度（wavelength，wL）等。在实际应用中，为了让特征可以包含更多的信息，往往选择用不同的时域特征组合形成联合特征向量。我们主要介绍一下几种方法： 过零率（Zc）：为波形通过零线的次数,从一定程度上反映了信号的频率特性。为了降低零点引入的噪声，往往会引入一个阈值δ。计算方式如下： sgn(?xk?xk?1),(xk?xk?1??)（1）willison幅值：是由willison提出一种对表面肌电信号的幅值变化数量进行计 算的方法，经过后人的研究，对willison幅值的阈值有了明确的范围限定，目前认为50~100?V是最合适的阈值范围。其数学表示公式如公式（3-3）。 wAmp??fxi?xi?1 t?1n（2） ?1f(x)???0其中：ifx?阈值otherwise 波形长度（wL）：它是对某一分析窗中的波形长度的统计，波长可以体现该样本的持续时间、幅值、频率的特征。 1n?1 wL??x(i?1)?x(i)ni?1（3）符号改变斜率（ssc）：为信号的的频率性能提供了一些附加信息，对于3个连续的采样

第六节 最速下降法与共轭梯度法

第六节最速下降法与共轭梯度法 6.1 最速下降法 当方程组 Ax = b (1) 中的A为对称正定矩阵时，方程组Ax=b的解正好是二次函数 (2) 的唯一极小值点。求解方程组(1)的问题等价与求 (3) 问题。求解问题(3)的最简单的方法是所谓最速下降法，即从某个初始点x(0)出发，沿φ(x)在点x(0)处的负梯度方向 (4) (称为搜索方向)求得φ(x)的极小值点x(1) , 即 (5) 然后从x(1)出发，重复上面的过程得到x(2)。如此下去,得到序列{x(k) } (6) 可以证明，从任一初始点x(0)出发，用最速下降法所得到的序列{x(k)}均收敛于问题(3)的解，也就是方程组(1)的解。其收敛速度取决于 其中λ1 ,λn分别为A的最小,最大特征值。最速下降法迭代格式：给定初值x(0) ,x(k)按如下方法决定

对称正定方程组 解：过程如图所示。 6.2 共轭梯度法 共轭梯度法简称CG(Conjugate Gradient),其基本步骤是在点x(k)处选取搜索方向d(k) , 使其与前一次的搜索方向d(k-1)关于A共轭，即 = 0 k=1,2, (7) 然后从点x(k)出发，沿方向d(k)求得φ(x)的极小值点x(k+1) , 即 (8) 如此下去, 得到序列{x(k)}。不难求得(7)的解为 注意到d(k)的选取不唯一，我们可取d(k) = -▽φ(x(k4) )+βk-1 d(k-1) , 由共轭的定义(7)可得

共轭梯度法的计算过程如下： 第一步：去初始向量x(0) , 计算 第k+1步(k=1,2,…)：计算 例8 用共轭梯度法求解对称正定方程组 解 迭代过程如图所示

共轭梯度法程序

一、共轭梯度法 共轭梯度法（Conjugate Gradient）是共轭方向法的一种，因为在该方向法中每一个共轭向量都是依靠赖于迭代点处的负梯度而构造出来的，所以称为共轭梯度法。由于此法最先由Fletcher和Reeves （1964）提出了解非线性最优化问题的，因而又称为FR 共轭梯度法。由于共轭梯度法不需要矩阵存储，且有较快的收敛速度和二次终止性等优点，现在共轭梯度法已经广泛地应用于实际问题中。共轭梯度法是一个典型的共轭方向法，它的每一个搜索方向是互相共轭的，而这些搜索方向d仅仅是负梯度方向与上一次迭代的搜索方向的组合，因此，存储量少，计算方便，效果好。 二、共轭梯度法的原理 设有目标函数 f（X）=1/2X T HX+b T X+c 式1 式中，H作为f（X）的二阶导数矩阵，b为常数矢量，b=[b1,b2,b3,...b n]T 在第k次迭代计算中，从点X（k）出发，沿负梯度方向作一维搜索，得 S(K)=-?f（X（k））式2 X(k+1)=X(k)+ɑ(k)S(k) 式3 在式中，ɑ（k）为最优步长。 设与S(k）共轭的下一个方向S(k+1)由点S(k）和点X(k+1)负梯度的线性组

合构，即 S (k+1)=-?f （X （k+1））+β(k)S (k) 式4 根据共轭的条件有 [S (k)]T ?2f （X (k)）S (k+1)=0 式5 把式2和式4带入式5，得 -[?f(X (k))]T ?2f （X (k)）[-?f （X （k+1））+β(k)S (k) ]=0 式6 对于式1，则在点X (k)和点X (k+1)的梯度可写为 ?f(X (k))=HX (k)+b 式7 ?f （X （k+1）)=HX (k+1)+b 式8 把上面两式相减并将式3代入得 ɑ(k)H S (k)=?f （X （k+1）)-?f(X (k)) 式9 将式4和式9两边分别相乘，并代入式5得 -[?f （X （k+1）)+β(k)?f(X (k))]T [?f （X （k+1）)-?f(X (k)]=0 式10 将式10展开，并注意到相邻两点梯度间的正交关系，整理后得 β （k ） =2 2 ||))((||||))1((||k X f k X f ?+? 式11 把式11代入式4和式3，得 S （k+1）=-?f （X (k)）+β （k ） S （k ） X (k+1)=X （k ）+ɑ（k ）S （k ） 由上可见，只要利用相邻两点的梯度就可以构造一个共轭方向。以这种方式产生共轭方向并进行迭代运算的方法，即共轭梯度法。

共轭梯度实验报告

竭诚为您提供优质文档/双击可除 共轭梯度实验报告 篇一：共轭梯度法实验报告 数值代数实验报告 一、实验名称：用共轭梯度法解线性方程组。 二、实验目的：进一步熟悉理解掌握共轭梯度法解法思路，提高matlab编程能力。三、实验要求：已知线性方程 矩阵，应用共轭梯度法在相关软件编程求解线性方程组的解。 四、实验原理： 1．共轭梯度法： 考虑线性方程组 Ax?b 的求解问题，其中A是给定的n阶对称正定矩阵，b是 给定的n维向量，x是待求解的n维向量.为此,定义二次泛 函 ?(x)?xTAx?2bTx. 定理1设A对称正定,求方程组Ax?b的解，等价于求二次泛函?(x)的极小值点.定理1表明，求解线性方程组问题

就转化为求二次泛函?(x)的极小值点问题.求解二次函数极 小值问题，通常好像盲人下山那样，先给定一个初始向量x0，确定一个下山方向p0，沿着经过点x0而方向为p0的直线 x?x0??p0找一个点 x1?x0??0p0， 使得对所有实数?有 ??x0??0p0????x0??p0?， 即在这条直线上x1使?(x)达到极小.然后从x1出发， 再确定一个下山的方向p1，沿着直 线x?x1??p1再跨出一步，即找到?1使得??x?在 x2?x1??1p1达到极小： ??x1??1p1????x1??p1?. 重复此步骤，得到一串 ?0,?1,?2, x?xk??pk上确定步长?k使 和p0,p1,p2, ， 称pk为搜索方向，?k为步长.一般情况下，先在xk点 找下山方向pk，再在直线 ??xk??kpk????xk??pk?, 最后求出xk?1?xk??kpk.然而对不同的搜索方向和步长，得到各种不同的算法.

共轭梯度法

最速下降法and 共轭梯度法 分类：matlab 2011-04-17 17:02 961人阅读评论(2) 收藏举报算法出版优化 注明：程序中调用的函数jintuifa.m golddiv.m我在之前的笔记中已贴出 最速下降法 %最速下降法求解f = 1/2*x1*x1+9/2*x2*x2的最小值，起始点为x0=[9 1] %算法根据最优化方法（天津大学出版社）97页算法3.2.1编写 %v1.0 author: liuxi BIT %format long syms x1 x2 alpha; f = 1/2*x1*x1+9/2*x2*x2;%要最小化的函数 df=jacobian(f,[x1 x2]);%函数f的偏导 epsilon=1e-6;%0.000001k=0; x0=[9 1];%起始点 xk=x0; gk=subs(df,[x1 x2],xk);%起始点的梯度 gk=double(gk); while(norm(gk)>epsilon)%迭代终止条件||gk||<=epsilon pk=-gk;%负梯度方向 f_alpha=subs(f,[x1 x2],xk+alpha*pk);%关于alpha的函数 [left right] = jintuifa(f_alpha,alpha);%进退法求下单峰区间 [best_alpha best_f_alpha]=golddiv(f_alpha,alpha,left,right);%黄金分割法求最优步长xk=xk+best_alpha*pk; k=k+1; gk=subs(df,[x1 x2],xk); gk=double(gk); end best_x=xk;%最优点 best_fx=subs(f,[x1 x2],best_x);%最优值 共轭梯度法

最优化牛顿法最速下降法共轭梯度法matlab代码

牛顿法 迭代公式：(1)2()1()[()]()k k k k x x f x f x +-=-?? Matlab 代码： function [x1,k] =newton(x1,eps) hs=inline('(x-1)^4+y^2'); 写入函数 ezcontour(hs,[-10 10 -10 10]); 建立坐标系 hold on; 显示图像 syms x y 定义变量 f=(x-1)^4+y^2; 定义函数 grad1=jacobian(f,[x,y]); 求f 的一阶梯度 grad2=jacobian(grad1,[x,y]); 求f 的二阶梯度 k=0; 迭代初始值 while 1 循环 grad1z=subs(subs(grad1,x,x1(1)),y,x1(2)); 给f 一阶梯度赋初值 grad2z=subs(subs(grad2,x,x1(1)),y,x1(2)); 给f 二阶梯度赋初值 x2=x1-inv(grad2z)*(grad1z)'; 核心迭代公式 if norm(x1-x2)

end end end 优点：在极小点附近收敛快 缺点：但是要计算目标函数的hesse 矩阵 最速下降法 1. ：选取初始点xo ，给定误差 2. 计算一阶梯度。若一阶梯度小于误差，停止迭代，输出 3. 取()()()k k p f x =? 4. 10 t ()(), 1.min k k k k k k k k k k t f x t p f x tp x x t p k k +≥+=+=+=+进行一维搜索，求，使得令转第二步 例题： 求min (x-2)^4+(x-2*y)^2.初始值（0,3）误差为0.1 (1)编写一个目标函数，存为f.m function z = f( x,y ) z=(x-2.0)^4+(x-2.0*y)^2; end (2)分别关于x 和y 求出一阶梯度，分别存为fx.m 和fy.m function z = fx( x,y ) z=2.0*x-4.0*y+4.0*(x-2.0)^3; end 和 function z = fy( x,y )

最优化方法课程实验报告

项目一 一维搜索算法（一） [实验目的] 编写加步探索法、对分法、Newton 法的程序。 [实验准备] 1．掌握一维收搜索中搜索区间的加步探索法的思想及迭代步骤； 2．掌握对分法的思想及迭代步骤； 3．掌握Newton 法的思想及迭代步骤。 [实验内容及步骤] 编程解决以下问题： 1．用加步探索法确定一维最优化问题 1 2)(min 30 +-=≥t t t t ? 的搜索区间，要求选取2,1,000===αh t ． 加步探索法算法的计算步骤： (1)选取初始点 ]) 0[)(0[max 00t t t ，或，∈?∞+∈，计算 )(00t ??=．给出初始步长0 >h ， 加步系数1α>，令0=k 。 (2) 比较目标函数值．令k k k h t t +=+1，计算 )(11++=k k t ??，若k k ??<+1，转(3)，否则转(4)。 (3) 加大探索步长．令 k k h h α=+1，同时，令,k t t =,1+=k k t t 1k k =+，转(2)。 (4) 反向探索．若0=k ，转换探索方向，令,k k h h -=1+=k t t ，转（2）。否则，停止迭代，令 11min{}max{}k k a t t b t t ++==，，，。 加步探索法算法的计算框图

程序清单 加步探索法算法程序见附录1 实验结果 运行结果为： 2．用对分法求解 )2()(min +=t t t ?， 已知初始单谷区间]5,3[],[-=b a ，要求按精度3.0=ε，001.0=ε分别计算． 对分法迭代的计算步骤： (1)确定初始搜索区间],[b a ，要求'()0'()0a b ??<>，。 (2) 计算],[b a 的中点)(2 1 b a c +=． (3) 若0)(<'c ?，则c a = ，转(4)；若0)(='c ?，则c t =* ，转(5)；若0)(>'c ?，则c b = ，转(4)． (4) 若ε<-||b a ，则)(2 1* b a t +=，转(5)；否则转(2)． (5) 打印* t ，结束 对分法的计算框图