如何求解最大似然估计和矩估计的例题

研究6种氮肥施用法（K=6）对小麦的效应，每种施肥法种5盆小麦（n=5），完全随机设计，最后测定它们的含氮量（mg），其结果见表下表，试作方差分析。

表 6种施肥法小麦植株的含氮量(mg)

---------------------------------------------------------

1 2 3 4 5 6

---------------------------------------------------------

12.9 14.0 12.6 10.5 14.6 14.0

12.3 13.8 3.2 10.8 14.6 13.3

12.2 13.8 13.4 10.7 14.4 13.7

12.5 13.6 13.4 10.8 14.4 13.5

12.7 13.6 13.0 10.5 14.4 13.7

---------------------------------------------------------

采用ANOVA过程分析。程序如下：

1DATA new;

2DO i=1 TO 5;

3DO trt=1 TO 6;

4INPUT y@@;

5OUTPUT;

6END;

7END;

8DROP i;

9CARDS;

1012.9 14.0 12.6 10.5 14.6 14.0

1112.3 13.8 13.2 10.8 14.6 13.3

1212.2 13.8 13.4 10.7 14.4 13.7

1312.5 13.6 13.4 10.8 14.4 13.5

1412.7 13.6 13.0 10.5 14.4 13.7

15PROC ANOVA;

16CLASS trt;

17MODEL y=trt;

18MEANS trt/DUNCAN;

19RUN;

输出结果及说明

Analysis of Variance Procedure 方差分析过程

Class Level Information 处理水平信息

Class Levels Values

处理因素变量名水平数具体值

TRT 6 1 2 3 4 5 6

Number of observations in data set = 30 数据集中有30个观察值 Dependent Variable: Y 依变量名为y

Sum of Mean

Source DF Squares Square F Value Pr > F

变异来源自由度平方和均方 F值概率值P

Model 5 44.46300000 8.89260000 164.17 0.0001

Error 24 1.30000000 0.05416667

Corrected Total 29 45.76300000

R-Square C.V. Root MSE Y Mean

所用模型的决定系数变异系数剩余标准差依变量均数

0.971593 1.786165 0.232737 13.0300000

Source DF Anova SS Mean Square F Value Pr > F

变异来源自由度平方和均方 F值概率值P

TRT 5 44.46300000 8.89260000 164.17 0.0001

Analysis of Variance Procedure

Duncan's Multiple Range Test for variable: Y 用DUNCAN法测验 NOTE: This test controls the type I experimentwise error rate under the complete null hypothesis but not under

partial null hypotheses.

Alpha= 0.05 df= 24 MSE= 0.054167

α水平为0.05，自由度为24，MS误差为0.054167

Number of Means 2 3 4 5 6

Critical Range 0.3038 0.3191 0.3289 0.3358 0.3410

两两比较时的界值，两平均数之差大于该界值时则两组有统计学差异

Means with the same letter are not significantly different.

标有相同字母的两平均数间无差异

Duncan Grouping Mean N TRT

测验结果各组均数例数组别

A 14.4800 5 5

B 13.7600 5 2

B 13.6400 5 6

C 13.1200 5 3

D 12.5200 5 1

E 10.6600 5 4

在输出结果中，找CLASS语句指出的变量的Pr > F（概率）值。此例中，P≤0.0001，可得出各种施肥法间有极显著差异。说明6种施氮法的植株含氮量是显著不同的。

用DUNCAN新复极差法测验结果表明，除第2种施肥法和第6种施肥法之间的差异不显著外，其余各种方法间的差异均达到Alpha= 0.05水平，其中第5种施肥法的效果最好，其次是第2和第6种施肥法较好。

极大似然估计法

《概率论与数理统计》 极大似然思想 一般地说，事件A 与参数Θ∈θ有关，θ取值不同， 则)(A P 也不同．若A 发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子 ：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P ． 分析：易知P 的值无非是1/4或3/4．为估计P 的值，现从袋中有放回地任取3只球，用X 表示其中的黑球数，则),3(~P b X ．按极大似然估计思想，对P 的取值进行估计． 解：对P 的不同取值，X 取3,2,1,0=k 的概率可列表如下: X ０ １ ２ ３ 41=P 6427 6427 649 641 43 =P 64 1 64 9 64 27 64 27 故根据极大似然思想即知：?????===3,2,4 31,0,41?k k P ． 在上面的例子中，P 是分布中的参数，它只能取两个值：1/4或3/4，

需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P 的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P 就最象那个． 二、似然函数与极大似然估计 1、离散分布场合： 设总体X 是离散型随机变量，其概率函数为);(θx p ，其中θ是未知参数．设n X X X ,,,21 为取自总体X 的样本．n X X X ,,,21 的联合概率函数为∏=n i i X p 1);(θ，这里，θ是常量，n X X X ,,,21 是变量． 若我们已知样本取的值是n x x x ,,,21 ，则事件 },,,{2211n n x X x X x X === 发生的概率为∏=n i i x p 1);(θ．这一概率随θ的 值而变化．从直观上来看，既然样本值n x x x ,,,21 出现了，它们出现的概率相对来说应比较大，应使∏=n i i x p 1);(θ取比较大的值．换句话说，θ应 使样本值n x x x ,,,21 的出现具有最大的概率．将上式看作θ的函数，并用 )(θL 表示，就有：

极大似然估计的题库

1.设总体X 的概率密度函数是 1, 01 (;)0, x x f x a αα-?<<=? ? 其它 其中0α>为未知参数。12, , , n x x x 是一组样本值，求参数α 的最大似然估计。 解：似然函数1 111n n n i i i i L x x αααα--===∏=∏ 1 ln ln (1) ln n i i L n x αα==+-∑ 1 ln ln 0n i i d L n x d αα==+=∑ 1 ?ln n i i n x α==-∑ 2、设总体X 的概率密度函数是 1 01 (;)0 x x f x a αα?+<<=? ?（）其它 123,,, ,n x x x x 是一组样本值，求参数α的最大似然估计。 解：似然函数1 1 (1)(1)n n n i i i i L x x α ααα===∏+=+∏ 1ln ln(1)ln n i i L n x αα==++∑ 1 ln ln 01n i i d L n x d αα==+=+∑ 1 ?1ln n i i n x α ==--∑ 3、设总体X 的概率密度函数是 22exp{}, 0 ()0, x x x f x λλ?->=?? 其它 λ>0为未知参数，123,,,,n x x x x 是一组样本值，求参数λ的最大似然估计。 解：似然函数2 2 1 1 1 (2exp{})(2exp{})n n n n n i i i i i i i L x x x x λλλλ ====∏-=∏-∑ 2 1 1 ln ln(2)ln n n i i i i L n x x λλ===+ -∑∑ 2 1 ln 0n i i d L n x d αλ==-=∑

如何求解参数的矩估与极大似然估计

如何求解参数的矩估与极大似然估计 一、矩估计 若统计量Ｔ作为总体参数θ（或g(θ )）的估计时，Ｔ就称为θ（或g(θ )）的估计量。 定义 6.1矩估计量 设n X X X ,,,21 是总体Ｘ的样本，Ｘ的分布函数),,:(1k x F θθ 依赖于参数k θθ,,1 ，假定X 的r 阶矩为),,,(1k r r EX θθα = ,,,1k r =（或r 阶中心矩）相应的样本矩记为),,,(1n r X X A 如下的k 个议程 k r a X X A k r n r ,,1),,,(),,(11 ==θθ （6.1） 的解，称为未知参数k θθ,,:1 的矩估计。 二、最（极）大似然估计 设总体Ｘ的密度函数θθ),,(x f 是参数或参数向量，n X X X ,,,21 是该总体的样本，对给定的一组观测值n x x x ,,,21 ，其联合密度是θ的函数，又称似然函数，记为： ∏=∈==n k k n x f x x L L 11),,(),,,()(Θθθθθ 其中Θ为参数集，若存在,),,(??1Θθθ∈=n x x 使Θθθθ∈≥),()?(L L 就称 ),,(?1n x x θ是θ的最大似然估计值，而),,(?1n X X θ是θ的最大似然估计量。 注：１）对给定的观测值，)(θL 是θ的函数，最大似然估计的原理是选择使观测值 n x x x ,,,21 出现的“概率”达到最大的θ?作为θ的估计。 ２）最大似然估计具有不变性，即若θ ?是θ的最大似然估计，则)(θg 的最大似然估计为)?(θ g 。但是，矩估计不具有不变性，例如假定θ是X 的矩估计，一般情形下，2θ的矩估计不是2 X 。 1. 设总体ξ服从指数分布，其概率密度函数为?????<≤=-0 01)(1 x x e x f x θ θ ，（θ>0） 试求参数θ的矩估计和极大似然估计.

最大似然估计的原理及其应用

最大似然估计的原理及其应用 摘要：了解最大似然估计的原理，并通过其原理来解决生活中的某些概率与统计的问题。 引言：似然函数 是θ的函数，表示由参数θ产生样本值 的“可能性”大小。将样本观察看成“结果”，θ是产生结果的“原因”， 则是度量产生该结果的各种 “原因”的机会。因此，θ的一个合理的 估计应使这种机会（即 ）达到最大的那个值。 关键词：似然函数，最大似然估计，最大似然估计值。 （1）似然函数 设描述总体的随机变量Ｘ的概率密度函数为 ，其中k θθθ,,,21?都是 总体的未知参数（若Ｘ是离散型的，则约定表示概率分布 ，总体的样本Ｘ1，Ｘ2，…，Ｘn 的测量值为n x x x ,,,2 1?，也可以理解为是ｎ维独立随机向量（Ｘ1，Ｘ2，…， Ｘn ）的一个测量值。即是说，对一维随机变量进行ｎ次测量得到的ｎ个测量值可以看成是对ｎ维独立的随机向量进行一次测量得到的ｎ个测量值。由于ｎ维随机向量的联合概率密度为 ∏=?n i k i x f 12 1),,;(θθθ 显然，对于样本的一个测量值，它是k θθθ,,,21?的函数，记为 并称它为似然函数，简记为Ｌ。对于离散型随机变量。 应该注意，似然函数与参数 k θθθ,,,21?有关，对于给定的样本值，它是这些参数的函数。 （2） 最大似然估计值 设总体含未知参数 k θθθ,,,21?，对于给定的样本值如有 ∏∏==?>?n i k i n i k i x f x f 12 1121)'',';()?,,?,?;(θθθθθθ 其中 k θθθ?,,?,?21?为未知参数k θθθ,,,21?可能取的某一组值，而k '','21θθθ?为k θθθ?21,的一切其他可能取值，此时，我们可认为k θθθ?,,?,?21?，比k '','21θθθ? 作为k θθθ,,,21?的估值要好些。这是因为不等式说明，k θθθ,,,21?取k θθθ?,,?,?21?时得到样本 值n x x x ,,,21?的可能性最大，这样的估计值就是k θθθ,,,21?的最大似然估计值。因此，可 以有定义：如果似然函数Ｌ在k θθθ,,,21?分别取 k θθθ?,,?,?21?时达到最大值，则称k θθθ?,,?,?21?分别是k θθθ,,,21?的最大似然估计值。 （3）求最大似然估计值的方法 我们认为，如果在一次测量中一个事件出现了，那么就可以认为此事件出现的可能性最

最大似然估计及三大检验(Wald LM LR)(DOC)

第二章 线性回归模型回顾与拓展 （12-15学时） 第四节 三大检验（LR Wald LM ） 一、极大似然估计法（ML ） （一）极大似然原理 假设对于给定样本{},Y X ,其联合概率分布存在，(),;f Y X ξ。将该联合概率密度函数视为未知参数ξ的函数，则(),;f Y X ξ称为似然函数（Likelihood Function ）。极大似然原理就是寻找未知参数ξ的估计?ξ，使得似然函数达到最大，或者说寻找使得样本{},Y X 出现的概率最大?ξ。 （二）条件似然函数VS 无条件似然函数 ()()(),;;;f Y X f Y X f X ξθ?= 若θ与?没有关系，则最大化无条件似然函数(),;f Y X ξ等价于分别最大化条件似然函数();f Y X θ和边际似然函数();f X ?，从而θ的最大似然估计就是最大化条件似然函数();f Y X θ。 （三）线性回归模型最大似然估计 Y X u β=+，2(0,)u N I σ→ 22 2 2 ()() (,;,)(2)exp{}2n Y X Y X L Y X βββσπσσ-'--=- 对数似然函数： 22 ()() 2222n n Y X Y X l LnL Ln Ln ββπσσ'--==--- 于是 22241?(22)0??21??()()0 ???22l X Y X X l n Y X Y X βσβββσ σσ??''=--+=? ??? ??'=-+--=???

得到 12?()1 ?ML ML X X X Y e e n βσ -?''=??'=?? （三）得分（Score ）和信息矩阵（Information Matrix ） (;,)l f Y X θθ ?=?称为得分； 12...k l l l l θθθθ????????????? ?? ? ???=??? ?????????????? 得分向量； （Gradient ） 海瑟矩阵（Hessian Matrix ）:2l H θθ?=' ?? 信息矩阵： 三*、带约束条件的最小二乘估计（拉格朗日估计） 在计量经济分析中，通常是通过样本信息对未知参数进行估计。但有些时候可能会遇到非样本信息——对未知参数的约束限制（如生产函数中的规模报酬不变等）。在这种情况下，我们就可以采用拉格朗日估计法。 对于线性模型（1），若其参数β具有某种线性等式约束： 0H β= （6） 其中H 是m k ?矩阵（m k <，()rank H m =）。β可视为除分量0β以外的1k ?矩阵。上式表明未知参数12,,, k βββ之间的某些线性关系的信息。 现在的问题是寻求满足上式又使()()Y X Y X ββ'--达到最小的估计量0 ?H β。

最大似然估计学习总结(概率论大作业)

最大似然估计学习总结 航天学院探测制导与控制技术杨若眉1110420123 摘要：最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。 关键词：最大似然估计；离散；连续；概率密度 最大似然估计是一种统计方法，它用来求一个样本集的相关概率密度函数的参数。这个方法最早是遗传学家以及统计学家罗纳德·费雪爵士在1912年至1922年间开始使用的。 “似然”是对likelihood 的一种较为贴近文言文的翻译，“似然”用现代的中文来说即“可能性”。故而，若称之为“最大可能性估计”则更加通俗易懂。最大似然法明确地使用概率模型，其目标是寻找能够以较高概率产生观察数据的系统发生树。最大似然法是一类完全基于统计的系统发生树重建方法的代表。该方法在每组序列比对中考虑了每个核苷酸替换的概率。 最大似然法是要解决这样一个问题：给定一组数据和一个参数待定的模型，如何确定模型的参数，使得这个确定参数后的模型在所有模型中产生已知数据的概率最大。通俗一点讲，就是在什么情况下最有可能发生已知的事件。举个例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？ 我想很多人立马有答案：70%。这个答案是正确的。可是为什么呢？（常识嘛！这还要问？！）其实，在很多常识的背后，都有相应的理论支持。在上面的问题中，就有最大似然法的支持例如，转换出现的概率大约是颠换的三倍。在一个三条序列的比对中，如果发现其中有一列为一个C，一个T和一个G，我们有理由认为，C和T所在的序列之间的关系很有可能更接近。由于被研究序列的共同祖先序列是未知的，概率的计算变得复杂；又由于可

极大似然估计练习题

关于矩估计与极大似然估计的典型例题 例1，设总体X 具有分布律 ??? ? ??--22)1()1(2321~θθθθX 其中10<<θ为未知参数。已经取得了样本值1,2,1321===x x x ，试求参数θ的矩估计与极大似然估计。 解：（i ）求矩估计量，列矩方程（只有一个未知参数） X X E =-=-?+-?+=θθθθθ23)1(3)1(22)(22 得 6 523432x 32X 3=-=-=-=矩θ （ii ）求极大似然估计，写出似然函数，即样本出现的概率 ),,()(332211x X x X x X P L ====θ )1,2,1(321====X X X P )1()2()1(321=?=?==X P X P X P )1(2)1(2522θθθθθθ-=?-?= 对数似然 )1ln(ln 52ln )(ln θθθ-++=L 0115)(ln =--=θ θθθd L d 得极大似然估计为 6 5?=极θ

例2，某种电子元件的寿命（以h 记）X 服从双参数指数分布，其概率密度为 ?? ???≥--=其他,0],/)(exp[1)(μθμθx x x f 其中0>μθ，均为未知参数，自一批这种零件中随机抽取n 件进行寿命试验，设它们的失效时间分别为.,,2,1n x x x （1） 求μθ，的最大似然估计量； （2） 求μθ，的矩估计量。 解：（1）似然函数，记样本的联合概率密度为 ∏===n i i n x f x x x f L 12,1)();,,()(μθμθ，， ?? ???≥--=∏=其他,0,,,]/)(exp[12,11μθμθn n i i x x x x ?? ???>≤--=∑=)1()1(1,0),/)(exp(1x x n x n i i n μμθμθ 在求极大似然估计时，0)(=μθ，L 肯定不是最大值的似然函数值，不考虑这部分，只考虑另一部分。 取另一部分的对数似然函数 )1(1,/)(ln ),(ln x n x n L n i i ≤---=∑=μθμθμθ

如何求解最大似然估计和矩估计的例题

研究6种氮肥施用法（K=6）对小麦的效应，每种施肥法种5盆小麦（n=5），完全随机设计，最后测定它们的含氮量（mg），其结果见表下表，试作方差分析。 表 6种施肥法小麦植株的含氮量(mg) --------------------------------------------------------- 1 2 3 4 5 6 --------------------------------------------------------- 12.9 14.0 12.6 10.5 14.6 14.0 12.3 13.8 3.2 10.8 14.6 13.3 12.2 13.8 13.4 10.7 14.4 13.7 12.5 13.6 13.4 10.8 14.4 13.5 12.7 13.6 13.0 10.5 14.4 13.7 --------------------------------------------------------- 采用ANOVA过程分析。程序如下： 1DATA new; 2DO i=1 TO 5; 3DO trt=1 TO 6; 4INPUT y@@; 5OUTPUT; 6END; 7END; 8DROP i; 9CARDS; 1012.9 14.0 12.6 10.5 14.6 14.0 1112.3 13.8 13.2 10.8 14.6 13.3 1212.2 13.8 13.4 10.7 14.4 13.7 1312.5 13.6 13.4 10.8 14.4 13.5 1412.7 13.6 13.0 10.5 14.4 13.7 15PROC ANOVA; 16CLASS trt;

最大似然例题及原理应用

例7.1设总体X的概率密度为 式中>－1是未知参数，是来自总体的一个容量为的简单随 机样本，分别用矩估计法和最大似然估计法求的估计量。 分析因为总体的分布只含有一个未知参数，所以用矩估计法首先求出 解 由矩估计法知，令 得参数的矩估计量。 似然函数为 对=1,2,…n，对取对数，则有 令 ， 所以参数的最大似然估计量为 注本题说明，对总体未知参数的估计，尽管利用同一样本值，但采用不同的估计方法，其结果未必相同。

[对应练习]设总体X服从参数p的几何分布，其分布律为， 是总体X的一个简单随机样本，试求： (1)p的矩估计量； (2)p的最大似然估计量。 提示因为总体分布中只含有一个参数p，所以求p的矩估计量关键是求出总体 的均值。 例7.2设某种元件的使用寿命的概率密度为 式中>0为未知参数，又设是的一组样本观察值，求参数的最大似然估计值。 解似然函数 对于，=1,2,…,n，()>0，取自然对数，则有 从而 所以在，=1,2,…,n时单调增加。 取时，对，，=1,2,…,n成立。取到最大值， 故的最大似然估计值为 注本题虽然能给出似然方程，但似然方程无解，故不存在驻点，应在边界点上考虑函数最大值。 [对应练习]设为总体的一个样本，已知总体的密度函数为

式中>0, ,是未知参数，求,的矩估计量和最大似然估计量。 提示因为总体的分布中含有两个未知参数，用矩法估计时，首先求出和 ，令，，可求得,的矩估计量。 例7.3某自动包装机包装洗衣粉，其重量服从正态分布，今随机抽查12袋测得其重量(单位g)分虽为1 001,1 004,1 003,1 000,997,999,1 004,1 000,996,1 002,998,999。 (1)求平均袋重的点估计值； (2)求方差的点估计值； (3)求的置信度为95%的置信区间； (4)求的置信度为95%的置信区间； (5)若已知＝9，求的95%的置信区间。 解 (1) (2) (3)未知，则的置信度为1－的置信区间为 依题意： 故的置信度为95%的区间估计为(998.577,1 001.923)。 (4)未知，的置信度为95%的置信区间为

极大似然估计法

《概率论与数理统计》典型教案 教学内容：极大似然估计法 教学目的： 通过本节内容的教学，使学生： 1、明确极大似然估计法是在总体分布类型已知的情况下的一种常用的参数估计方法； 2、理解极大似然思想； 3、掌握求极大似然估计值的一般步骤，会求常见分布参数的极大似然估计值． 教学重点： 1、对极大似然思想阐述； 2、极大似然估计值的求解． 教学难点： 对不能通过求导方法获得极大似然估计的值的确定． 教学时数：２学时． 教学过程： 引例：某位同学与一位猎人一起外出打猎，一只野兔从前方窜过．只听一声枪响，野兔应声到下，如果要你推测，这一发命中的子弹是谁打的？你就会想，只发一枪便打中，由于猎人命中的概率一般大于这位同学命中的概率，看来这一枪是猎人射中的． 这个例子所作的推断就体现了极大似然法的基本思想． 一、极大似然思想 一般地说，事件A 与参数Θ∈θ有关，θ取值不同，则)(A P 也不同．若 A 发生了，则认为此时的θ值就是θ的估计值．这就是极大似然思想．看一例子：例１、设袋中装有许多黑、白球，不同颜色球的数量比为3:1，试设计一种方法，估计任取一球为黑球的概率P ． 分析：易知P 的值无非是1/4或3/4．为估计P 的值，现从袋中有放回地任取3只球，用X 表示其中的黑球数，则),3(~P b X ．按极大似然估计思想，对P 的取值进行估计． 解：对P 的不同取值，X 取3,2,1,0=k 的概率可列表如下:

X ０ １ ２ ３ 41=P 6427 6427 649 64 1 43=P 641 649 6427 6427 故根据极大似然思想即知：?????===3,2,4 31,0,41?k k P ． 在上面的例子中，P 是分布中的参数，它只能取两个值：1/4或3/4，需要通过抽样来决定分布中参数究竟是1/4还是3/4．在给定了样本观测值后去计算该样本出现的概率，这一概率依赖于P 的值，为此需要用1/4、3/4分别去计算此概率，在相对比较之下，哪个概率大，则P 就最象那个． 二、似然函数与极大似然估计 1、离散分布场合： 设总体X 是离散型随机变量，其概率函数为);(θx p ，其中θ是未知参数．设n X X X ,,,21 为取自总体X 的样本．n X X X ,,,21 的联合概率函数为∏=n i i X p 1);(θ，这里，θ是常量，n X X X ,,,21 是变量． 若我们已知样本取的值是n x x x ,,,21 ，则事件 },,,{2211n n x X x X x X === 发生的概率为∏=n i i x p 1);(θ．这一概率随θ的 值而变化．从直观上来看，既然样本值n x x x ,,,21 出现了，它们出现的概率相对来说应比较大，应使∏=n i i x p 1);(θ取比较大的值．换句话说，θ应 使样本值n x x x ,,,21 的出现具有最大的概率．将上式看作θ的函数，并用)(θL 表示，就有：

最大似然估计总结

最大似然估计总结 1. 作用 在已知试验结果（即是样本）的情况下，用来估计满足这些样本分布的参数，把可能性最大的那个参数作为真实的参数估计。 2. 离散型 设为离散型随机变量，为多维参数向量，如果随机变量相互独立且概率计算式为P{，则可得概率函数为 P{}=，在固定时，上式表示 的概率；当已知的时候，它又变成 的函数，可以把它记为，称此函数为似然函数。似然函数值的大小意味着该样本值出现的可能性的大小，既然已经得到了样本值 ，那么它出现的可能性应该是较大的，即似然函数的值也应该是比较大的，因而最大似然估计就是选择使达到最大值的那个作为真实的估计。 3. 连续型 设为连续型随机变量，其概率密度函数为，为从该总体中抽出的样本，同样的如果相互独立且同分布，于是样本的联合概率密度为 。大致过程同离散型一样。 4. 关于概率密度(PDF) 我们来考虑个简单的情况(m=k=1)，即是参数和样本都为1的情况。假设进行一个实验，实验次数定为10次，每次实验成功率为0.2，那么不成功的概率为0.8，用y来表示成功的次数。由于前后的实验是相互独立的，所以可以计算得到成功的次数的概率密度为：

=其中y 由于y的取值范围已定，而且也为已知，所以图1显示了y取不同值时的概率分布情况，而图2显示了当时的y值概率情况。 图1 时概率分布图 图2 时概率分布图 那么在[0,1]之间变化而形成的概率密度函数的集合就形成了一个模型。 5. 最大似然估计的求法 由上面的介绍可以知道，对于图1这种情况y=2是最有可能发生的事件。但是在现实中我们还会面临另外一种情况：我们已经知道了一系列的观察值和一个感兴趣的模型，现在需要找 出是哪个PDF（具体来说参数为多少时）产生出来的这些观察值。要解决这个问题，就需要用到参数估计的方法，在最大似然估计法中，我们对调PDF中数据向量和参数向量的角色，于是可以得到似然函数的定义为：