【贝叶斯统计】第一章 先验分布与后验分布
第一章 先验分布与后验分布
第一章 先验分布与后验分布 1.1 解：令120.1,0.2θθ== 设A 为从产品中随机取出8个，有2个不合格，则 2 2618()0.10.90.1488P A C θ== 22628()0.20.80.2936P A C θ== 从而有 1111122()() ()0.4582()()()() P A A P A P A θπθπθθπθθπθ==+ 2221122()() ()0.5418()()()() P A A P A P A θπθπθθπθθπθ= =+ 1.2 解：令121, 1.5λλ== 设X 为一卷磁带上的缺陷数，则()X P λ ∴3(3)3! e P X λ λλ-== 1122(3)(3)()(3)()0.0998P X P X P X λπλλπλ∴===+== 从而有 111222(3)() (3)0.2457 (3)(3)() (3)0.7543 (3) P X X P X P X X P X λπλπλλπλπλ========== 1.3 解：设A 为从产品中随机取出8个，有3个不合格，则 33 58()(1)P A C θθθ=- （1） 由题意知 ()1,01πθθ=<< 从而有 351 ()() ()504(1),01()()P A A P A d θπθπθθθθθπθθ = =-<
1 (),102010πθθ= << 11.611.51()0.0110 m x d θ==? 从而有 ()()()10,11.511.6() P x x m x θπθπθθ==<< 1.6 证明：设随机变量()X P λ ，λ的先验分布为(,)Ga αβ，其中,αβ为已知，则 (),0 ! x e P x x λ λλλ-= > 1(),0 () e ααβλ βπλλλα--=>Γ 因此 11(1) ()()()x x x P x e e e λαβλαβλπλλπλλλλ---+--+∝?∝= 所以 (,1) x G a x λαβ++ 1.7 解：（1）由题意可知 ()1,01πθθ=<< 因此 1 2 2()12(1)x x m x d x θθ =?=-? 因此 2()()1(),1 ()1P x x x x m x x θπθπθθθ==<<- （2） 由题意可知 1 22 2()36x m x d x θθθ=?=? 因此 ()() ()1,01 () P x x m x θπθπθθ= =<< 1.8 解：设A 为100个产品中3个不合格，则 3 397100()(1)P A C θθθ=- 由题意可知 199(202) ()(1),01(200) πθθθθΓ= -≤≤Γ 因此 3971994296()()()(1)(1)(1)A P A πθθπθθθθθθθ∝?∝--=- 由上可知 (5,297)A Be θ
第五章贝叶斯估计
第五章贝叶斯统计 5.1 简介 到目前为止，我们已经知道了大量的不同的概率模型，并且我们前面已经讨论了如何用它们去拟合数据等等。前面我们讨论了如何利用各种先验知识，计算MAP参数来估计θ=argmax p(θ|D)。同样的，对于某种特定的请况，我们讨论了如何计算后验的全概率p(θ|D)和后验的预测概率密度p(x|D)。当然在以后的章节我们会讨论一般请况下的算法。 5.2 总结后验分布 后验分布总结关于未知变量θ的一切数值。在这一部分，我们讨论简单的数，这些数是可以通过一个概率分布得到的，比如通过一个后验概率分布得到的数。与全面联接相比，这些统计汇总常常是比较容易理解和可视化。 5.2.1最大后验估计 通过计算后验的均值、中值、或者模型可以轻松地得到未知参数的点估计。在5.7节，我们将讨 论如何利用决策理论从这些模型中做出选择。典型的后验概率均值或者中值是估计真实值的恰当选择，并且后验边缘分布向量最适合离散数值。然而，由于简化了优化问题，算法更加高效，后验概率模型，又名最大后验概率估计成为最受欢迎的模型。另外，通过对先验知识的取对数来正 则化后，最大后验概率可能被非贝叶斯方法解释（详情参考6.5节）。 最大后验概率估计模型在计算方面该方法虽然很诱人，但是他有很多缺点，下面简答介绍一下。在这一章我们将更加全面的学习贝叶斯方法。 图5.1（a）由双峰演示得到的非典型分布的双峰分布，其中瘦高蓝色竖线代表均值，因为他接近 大概率，所以对分布有个比较好的概括。(b)由伽马绘图演示生成偏态分布，它与均值模型完全不同。 5.2.1.1 无法衡量不确定性 最大后验估计的最大的缺点是对后验分布的均值或者中值的任何点估计都不能够提供一个不确定性的衡量方法。在许多应用中，知道给定估计值的置信度非常重要。我们在5.22节将讨论给出后验估计置信度的衡量方法。 5.2.1.2 深耕最大后验估计可能产生过拟合
变分推断-解决复杂的后验概率计算方法
如何简单易懂地理解变分推断(variational inference)？ 简单易懂的理解变分其实就是一句话：用简单的分布q去近似复杂的分布p。首先，为什么要选择用变分推断？ 因为，大多数情况下后验分布很难求啊。如果后验概率好求解的话我们直接EM 就搞出来了。 当后验分布难于求解的时候我们就希望选择一些简单的分布来近似这些复杂的后验分布，至于这种简单的分布怎么选，有很多方法比如：Bethe自由能，平均场定理。而应用最广泛的要数平均场定理。为什么？ 因为它假设各个变量之间相互独立砍断了所有变量之间的依赖关系。这又有什么好处呢？我们拿一个不太恰当的例子来形象的说明一下：用古代十字军东征来作为例子说明一下mean field。十字军组成以骑兵为主步兵为辅，开战之前骑兵手持重标枪首先冲击敌阵步兵手持刀斧跟随，一旦接战就成了单对单的决斗。那么在每个人的战斗力基本相似的情况下某个人的战斗力可以由其他人的均值代替这是平均场的思想。这样在整个军队没有什么战术配合的情况下军队的战斗力可以由这些单兵的战斗力来近似这是变分的思想。 当求解Inference问题的时候相当于积分掉无关变量求边际分布，如果变量维度过高，积分就会变得非常困难，而且你积分的分布p又可能非常复杂因此就彻底将这条路堵死了。采用平均场就是将这种复杂的多元积分变成简单的多个一元积分，而且我们选择的q是指数族内的分布，更易于积分求解。如果变量间的依赖关系很强怎么办？那就是structured mean field解决的问题了。 说到这里我们就知道了为什么要用变分，那么怎么用？ 过程很简单，推导很复杂。 整个过程只需要： 1、根据图模型写出联合分布 2、写出mean filed 的形式（给出变分参数及其生成隐变量的分布） 3、写出ELBO（为什么是ELBO？优化它跟优化KL divergence等价，KL divergence 因为含有后验分布不好优化） 4、求偏导进行变分参数学习 这样就搞定了！
最大似然估计(MLE)和最大后验概率(MAP)
最大似然估计： 最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。简单而言，假设我们要统计全国人口的身高，首先假设这个身高服从服从正态分布，但是该分布的均值与方差未知。我们没有人力与物力去统计全国每个人的身高，但是可以通过采样，获取部分人的身高，然后通过最大似然估计来获取上述假设中的正态分布的均值与方差。 最大似然估计中采样需满足一个很重要的假设，就是所有的采样都是独立同分布的。下面我们具体描述一下最大似然估计： 首先，假设为独立同分布的采样，θ为模型参数,f为我们所使用的模型，遵循我们上述的独立同分布假设。参数为θ的模型f产生上述采样可表示为 回到上面的“模型已定，参数未知”的说法，此时，我们已知的为，未知为θ，故似然定义为: 在实际应用中常用的是两边取对数，得到公式如下： 其中称为对数似然，而称为平均对数似然。而我们平时所称的最大似然为最大的对数平均似然，即：
举个别人博客中的例子，假如有一个罐子，里面有黑白两种颜色的球，数目多少不知，两种颜色的比例也不知。我们想知道罐中白球和黑球的比例，但我们不能把罐中的球全部拿出来数。现在我们可以每次任意从已经摇匀的罐中拿一个球出来，记录球的颜色，然后把拿出来的球再放回罐中。这个过程可以重复，我们可以用记录的球的颜色来估计罐中黑白球的比例。假如在前面的一百次重复记录中，有七十次是白球，请问罐中白球所占的比例最有可能是多少？很多人马上就有答案了：70%。而其后的理论支撑是什么呢？ 我们假设罐中白球的比例是p，那么黑球的比例就是1-p。因为每抽一个球出来，在记录颜色之后，我们把抽出的球放回了罐中并摇匀，所以每次抽出来的球的颜色服从同一独立分布。这里我们把一次抽出来球的颜色称为一次抽样。题目中在一百次抽样中，七十次是白球的概率是P(Data | M)，这里Data是所有的数据，M是所给出的模型，表示每次抽出来的球是白色的概率为p。如果第一抽样的结果记为x1，第二抽样的结果记为x2... 那么Data = (x1,x2,…,x100)。这样， P(Data | M) = P(x1,x2,…,x100|M) = P(x1|M)P(x2|M)…P(x100|M) = p^70(1-p)^30. 那么p在取什么值的时候，P(Data |M)的值最大呢？将p^70(1-p)^30对p求导，并其等于零。 70p^69(1-p)^30-p^70*30(1-p)^29=0。 解方程可以得到p=0.7。 在边界点p=0,1，P(Data|M)=0。所以当p=0.7时，P(Data|M)的值最大。这和我们常识中按抽样中的比例来计算的结果是一样的。 假如我们有一组连续变量的采样值（x1,x2,…,xn），我们知道这组数据服从正态分布，标准差已知。请问这个正态分布的期望值为多少时，产生这个已有数据的概率最大？ P(Data | M) = ？
伽马先验分布的草案
1先验分布服从伽马-逆伽马分布 1：取形状参数先验分布为伽马分布： )exp() (),(~)(1 bm m a b b a Ga m a a -= -Γπ， 其中a 为形状参数，b 为尺度参数。 2:尺度参数的先验分布为逆伽马分布： ??? ? ??- ??? ? ??=+ηη ηπv u v v u IGa u u exp 1 )(),(~)(1 Γ， 其中u 为形状参数，v 为尺度参数。 则两参数的联合验前分布为： ??? ? ??- ???? ??? -= ?=+-ηηηπv u v bm m a b v u IGa b a Ga m u u a a exp 1)()exp() (),(),(),(1 1 ΓΓ )(?Γ为伽马函数： dx e x a x a -∞+-? = 1 )(Γ 0>a 2 超参数确定方法 上面给出的先验分布中，除了两参数数都取无信息先验分布，其它先验分布都含有未知的超参数。超参数可以根据经验专家给出，但是更多的时候要利用先验数据确定。通常利用先验矩可以确定超参数。这时，首先要获得参数θ(对于Weibull 而言，就是m 和η）的样本，然后才能去估计参数的样本矩。然而，已知的先验数据与参数的样本并没有明显的对应关系。在工程应用中，常用自助法（Bootstrap ）获得参数的样本。自助法的核心是利用自助样本（或称为再生样本）来估计未知概率测度的某种统计量的统计特性。设),,(21n t t t T ???=是得到的一组数控系统无故障工作时间样本。通过其运用自助法便可获得m 和η的样本。具体步骤如下： 1）对),,(21n t t t T ???=进行有放回抽样，可得到自助样本； 2）利用自助样本),,(* *2*1*n t t t T ???=进行最大似然估计，得到m ?，η?； 3）重复上述两个步骤N 次，得到估计参数样本)}?,?(,),?,?(),?,?{(2211N N m m m ηηη???； 4）利用得到的估计参数样本即可求未知参数m ,η的期望和方差。 通过得到的N 组参数样本，分别计算其期望与方差，可以得到验前分布的超参数。当假设先验分布为二元正态时： ∑ == N i i m m N 1 ?1μ，∑ ==N i i N 1 ?1ημη，∑=--= N i m i m m N 1 2 2 ?1 1）（μσ，
先验概率后验概率及贝叶斯公式
先验概率、后验概率及全概率公式、贝叶斯公式2011-11-15 16:04:24| 分类：数理统计|举报|字号订阅 先验概率与后验概率 事情还没有发生,要求这件事情发生的可能性的大小,是先验概率. 事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小,是后验概率. 一、先验概率是指根据以往经验和分析得到的概率，如全概率公式，它往往作为“由因求果”问题中的“因”出现。后验概率是指在得到“结果”的信息后重新修正的概率，如贝叶斯公式中的，是“执果寻因”问题中的“因”。先验概率与后验概率有不可分割的联系，后验概率的计算要以先验概率为基础。 二、A prior probability is a marginal probability, interpreted as a description of what is known about a variable in the absence of some evidence. The posterior probability is then the conditional probability of the variable taking the evidence into account. The posterior probability is computed from the prior and the likelihood function via Bayes' theorem. 三、先验概率与后验概率通俗释义 事情有N种发生的可能，我们不能控制结果的发生，或者影响结果的机理是我们不知道或是太复杂超过我们的运算能力。新发一个物种，到底是猫,还是小老虎呢（朱道元的经典例子）？是由于我们的无知才不能确定判断。 先验概率 ( Prior probability) 先验概率是在缺乏某个事实的情况下描述一个变量；而后验概率是在考虑了一个事实之后的条件概率。先验概率通常是经验丰富的专家的纯主观的估计。比如在法国大选中女候选罗雅尔的支持率 p,在进行民意调查之前, 可以先验概率来表达这个不确定性。
先验概率与后验概率的区别-1
先验概率与后验概率的区别（老迷惑了） 此为Bayesian先生，敬仰吧，同志们！ 先验（A priori；又译：先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。它通常与后验知识相比较，后验意指“在经验之后”，需要经验。这一区分来自于中世纪逻辑所区分的两种论证，从原因到结果的论证称为“先验的”，而从结果到原因的论证称为“后验的”。 先验概率是指根据以往经验和分析得到的概率，如全概率公式 中的，它往往作为“由因求果”问题中的“因”出现。后验概 率是指在得到“结果”的信息后重新修正的概率，是“执果寻因”问题中的“因” 。后验概率是基于新的信息，修正原来的先验 概率后所获得的更接近实际情况的概率估计。先验概率和后验概
率是相对的。如果以后还有新的信息引入，更新了现在所谓的后验概率，得到了新的概率值，那么这个新的概率值被称为后验概率。 先验概率的分类： 利用过去历史资料计算得到的先验概率，称为客观先验概率；当历史资料无从取得或资料不完全时，凭人们的主观经验来判断而得到的先验概率，称为主观先验概率。 后验概率是指通过调查或其它方式获取新的附加信息，利用贝叶斯公式对先验概率进行修正，而后得到的概率。 先验概率和后验概率的区别： 先验概率不是根据有关自然状态的全部资料测定的，而只是利用现有的材料(主要是历史资料)计算的；后验概率使用了有关自然状态更加全面的资料，既有先验概率资料，也有补充资料； 先验概率的计算比较简单，没有使用贝叶斯公式；而后验概率的计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多的数理统计知识。
贝叶斯统计_先验分布的确定
第三章先验分布的确定 3.1 主观概率 3.1.1概率的公理化定义 定义：设Ω为一个样本空间，F 为Ω的某些子集组成的一个事件域，如果对任一事件A ∈F ，定义在F 上一个实值函数P(A)满足下列条件： (1)非负性公理：对于每一事件A ，有P(A)≥0； (2)正则性(规范性)公理：P(Ω)=1； (3)可列可加性(完全可加性)公理：设A 1，A 2，…是互不相容的事件，即对于i≠j ，A i A j =?，i ，j=1，2，…，则有 11()()i i i i P A P A ∞∞ ===∑U 则称P （A ）为事件A 的概率(Probability)，称三元素(Ω，F ，P)为概率空间(Probability space)。 概率是定义在σ-域F 上的一个非负的、正则的、可列可加的集函数。 3.1.2主观概率 在经典统计中，概率是用三条公理定义的：1）非负性；2）正则性；3）可加性。概率确定方法有两种：1）古典方法；2）频率方法。 实际中大量使用的是频率方法，所以经典统计的研究对象是能大量重复的随机现象，不是这类随机现象就不能用频率的方法去确定其有关事件的概率。这无疑把统计学的应用和研究领域缩小了[1]。在经典统计中有一种习惯，对所得到的概率都要给出频率解释，这在有些场所是难于做出的。譬如，天气预报：“明天下雨的概率是0.8”。 贝叶斯统计中要使用先验信息，而先验信息主要是指经验和历史资料。因此如何用人们的经验和过去的历史资料确定概率和先验分布是贝叶斯学派要研究
的问题。 贝叶斯学派是完全同意概率的公理化定义，但认为概率也是可以用经验确定。这是与人们的实践活动一致。这就可以使不能重复或不能大量重复的随机现象也可谈及概率。同时也使人们积累的丰富经验得以概括和应用。 贝叶斯学派认为：一个事件的概率是人们根据经验对该事件发生可能性所给出个人信念。这样给出的概率称为主观概率。下面举几个例子：一个企业家认为“一项新产品在未来市场上畅销”的概率是0.8，这里的0.8是根据他自己多年的经验和当时一些市场信息综合而成的个人信念。 一位医生要对一位病人动手术，他认为成功的概率是0.9，这是他根据手术的难易程度和自己的手术经验而对“手术成功”所给出的把握程度。 这样的例子在我们生活，生产和经济活动中也是常遇见的，他们观察的主观概率绝不是随意的，而是要求当事人对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家。并能对周围信息和历史信息进行仔细分析，在这个基础上确定的主观概率就能符合实际。所以应把主观概率与主观臆造，瞎说一通区别开来。 主观概率要受到实践检验，要符合概率的三条公理，通过实践检验和公理验证，人们会接受其精华，去其糟粕。 主观概率是频率方法和经典方法的一种补充，有了主观概率至少使人们在频率观点不适用时也能谈论概率，使用概率和统计方法。 主观概率并不反对用频率方法确定概率，但也要看到它的局限性。 3.1.3 确定主观概率的方法 （1）用对立事件的比较来确定主观概率（最简单的方法） 例3.1 一位出版商要知道一本新书畅销（事件A）的概率是多少，以决定是否与作者签订出版合同。他在了解这本新书的内容后，根据他自己多年出书的经验认为该书畅销的可能性较大，畅销（A）比畅销（A）的可能性要高出一倍，即 P A=，即 +=，可以推得()2/3 P A P A P A P A ()2() =，由此根据概率的性质()()1
主观概率与先验分布
第二章主观概率和先验分布 Subjective Probability and Prior Distribution 本章主要参考文献：60，52，上帝怎样掷骰子 §2-1 基本概念 一、概率（probability） 1. 频率 f n(A)==N a/N P (A)==lim f n(A)…古典概率的定义 n 2. Laplace在《概率的理论分析》(1812)中的定义 P(A)==k/N 式中，k为A所含基本事件数， N为基本事件总数 适用条件 1.基本事件有限 2.每个基本事件等可能 3.公理化定义 E是随机试验,S是E的样本空间,对E的每一事件A,对应有确定实数P(A),若满足: ①非负性：0≤P(A)≤1 ②规范性：P(S)=1 ③可列可加性：对两两不相容事件A k (k=1,2…) (A i∩A j=φ) P(∪A k)=∑P(A k) 则称P(A)为事件A发生的概率
二、主观概率(subjective probability, likelihood) 1. 为什么引入主观概率 。有的自然状态无法重复试验 如：明天是否下雨 新产品销路如何 明年国民经济增长率如何 能否考上博士生 。试验费用过于昂贵、代价过大 例：洲导弹命中率 战争中对敌方下一步行动的估计 2.主观概率定义：合理的信念的测度 某人对特定事件会发生的可能的度量。 即他相信(认为)事件将会发生的可能性大小的程度。 这种相信的程度是一种信念，是主观的，但又是根据经验、各方而后知识，对客观情况的了解进行分析、推理、综合判断而设定(Assignment)的，与主观臆测不同。 例：考博士生、掷硬币、抛图钉 三、概率的数学定义 对非空集Ω，元素ω，即Ω=｛ω｝，F是Ω的子集A所构成的σ-域(即Ω∈F； 若A∈F则A∈F； 若A i∈F i=1,2,…则∪A i∈F) 若P(A)是定在F上的实值集函数，它满足 ①非负性P(A)≥0 ②规范性P(Ω)=1
先验概率与后验概率的区别-1
此为先生，敬仰吧，同志们！ 先验（；又译：先天）在拉丁文中指“来自先前地东西”，或稍稍引申指“在经验之前”.近代西方传统中，认为先验指无需经验或先于经验获得地知识.它通常与后验知识相比较，后验意指“在经验之后”，需要经验.这一区分来自于中世纪逻辑所区分地两种论证，从原因到结果地论证称为“先验地”，而从结果到原因地论证称为“后验地”.文档来自于网络搜索 先验概率是指根据以往经验和分析得到地概率，如全概率公式中地，它往往作为“由因求果”问题中地“因”出现.后验概率是指在得到“结果”地信息后重新修正地概率，是“执果寻因”问题中地“因” .后验概率是基于新地信息，修正原来地先验概率后所获得地更接近实际情况地概率估计.先验概率和后验概率是相对地.如果以后还有新地信息引入，更新了现在所谓地后验概率，得到了新地概率值，那么这个新地概率值被称为后验概率.文档来自于网络搜索 先验概率地分类： 利用过去历史资料计算得到地先验概率，称为客观先验概率； 当历史资料无从取得或资料不完全时，凭人们地主观经验来判断而得到地先验概率，称为主观先验概率. 后验概率是指通过调查或其它方式获取新地附加信息，利用贝叶斯公式对先验概率进行修正，而后得到地概率.文档来自于网络搜索 先验概率和后验概率地区别： 先验概率不是根据有关自然状态地全部资料测定地，而只是利用现有地材料(主要是历史资料)计算地；后验概率使用了有关自然状态更加全面地资料，既有先验概率资料，也有补充资料；文档来自于网络搜索 先验概率地计算比较简单，没有使用贝叶斯公式；而后验概率地计算，要使用贝叶斯公式，而且在利用样本资料计算逻辑概率时，还要使用理论概率分布，需要更多地数理统计知识.文档来自于网络搜索 先验概率与后验概率 "概率就是无知, 而不是事务本身是随机地". 事情有种发生地可能,我们不能控制结果地发生,或者影响结果地机理是我们不知道或是太复杂超过我们地运算能力. 新发一个物种, 到底是猫,还是小老虎
贝叶斯决策模型及实例分析
贝叶斯决策模型及实例分析 一、贝叶斯决策的概念 贝叶斯决策，是先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法。 风险型决策是根据历史资料或主观判断所确定的各种自然状态概率（称为先验概率），然后采用期望效用最大等准则来确定最优决策方案。这种决策方法具有较大的风险，因为根据历史资料或主观判断所确定的各种自然状态概率没有经过试验验证。为了降低决策风险，可通过科学试验（如市场调查、统计分析等）等方法获得更多关于自然状态发生概率的信息，以进一步确定或修正自然状态发生的概率；然后在利用期望效用最大等准则来确定最优决策方案，这种先利用科学试验修正自然状态发生的概率，在采用期望效用最大等准则来确定最优方案的决策方法称为贝叶斯决策方法。 二、贝叶斯决策模型的定义 贝叶斯决策应具有如下内容 贝叶斯决策模型中的组成部分： ) ( ,θ θP S A a及 ∈ ∈。概率分布S P∈ θ θ) (表示决策者在观察试验 结果前对自然θ发生可能的估计。这一概率称为先验分布。 一个可能的试验集合E，E e∈，无情报试验e0通常包括在集合E之内。 一个试验结果Z取决于试验e的选择以Z0表示的结果只能是无情报试验e0的结果。 概率分布P(Z/e,θ)，Z z∈表示在自然状态θ的条件下，进行e试验后发生z结果的概率。这一概率分布称为似然分布。 一个可能的后果集合C，C c∈以及定义在后果集合C的效用函数u(e,Z,a,θ)。
每一后果c=c(e,z,a,θ)取决于e,z,a和θ。.故用u(c)形成一个复合函数u{(e,z,a,θ)}，并可写成u(e,z,a,θ)。 三、贝叶斯决策的常用方法 3.1层次分析法(AHP) 在社会、经济和科学管理领域中，人们所面临的常常是由相互关联，相互制约的众多因素组成的复杂问题时，需要把所研究的问题层次化。所谓层次化就是根据所研究问题的性质和要达到的目标，将问题分解为不同的组成因素，并按照各因素之间的相互关联影响和隶属关系将所有因素按若干层次聚集组合，形成一个多层次的分析结构模型。 3.1.1层次分析模型 最高层：表示解决问题的目的，即层次分析要达到的目标。 中间层：表示为实现目标所涉及的因素，准则和策略等中间层可分为若干子层，如准则层，约束层和策略层等。 最低层：表示事项目标而供选择的各种措施，方案和政策等。 3.1.2层次分析法的基本步骤 (l) 建立层次结构模型 在深入分析研究的问题后，将问题中所包括的因素分为不同层次，如目标层、指标层和措施层等并画出层次结构图表示层次的递阶结构和相邻两层因素的从属关系。 (2) 构造判断矩阵 判断矩阵元素的值表示人们对各因素关于目标的相对重要性的认识。在相邻的两个层次中，高层次为目标，低层次为因素。 (3) 层次单排序及其一致性检验 判断矩阵的特征向量W经过归一化后即为各因素关于目标的相对重要性的排序权值。利用判断矩阵的最大特征根，可求CI和CR值，当CR<0.1时，认为层次单排序的结果有满意的一致性；否则，需要调整判断矩阵的各元素的取值。 (4) 层次总排序 计算某一层次各因素相对上一层次所有因素的相对重要性的排序权值称为层次总排序。由于层次总排序过程是从最高层到最低层逐层进行的，而最高层是总目标，所以，层次总排序也是计算某一层次各因素相对最高层（总目标）的相对重要性的排序权值。 设上一层次A包含m个因素A1,A2,…,A m其层次总排序的权值分别为a1,a2,…,a m；下一层次B包含n 个因素B1,B2,…,B n，它们对于因素A j(j=1,2,…,m)的层次单排序权值分别为： b1j,b2j,…,b nj（当B k与A j无联系时，b kj=0），则B层次总排序权值可按下表计算。 层次总排序权值计算表
贝叶斯统计知识整理
第一章先验分布和后验分布 统计学有两个主要学派，频率学派与贝叶斯学派。频率学派的观点：统计推断是根据样本信息对总体分布或总体的特征数进行推断，这里用到两种信息：总体信息和样本信息；贝叶斯学派的观点：除了上述两种信息以外，统计推断还应该使用第三种信息：先验信息。贝叶斯统计就是利用先验信息、总体信息和样本信息进行相应的统计推断。 1.1三种信息 （1）总体信息：总体分布或所属分布族提供给我们的信息 （2）样本信息：从总体抽取的样本提供给我们的信息 （3）先验信息：在抽样之前有关统计推断的一些信息 1.2贝叶斯公式 一、贝叶斯公式的三种形式 (一）贝叶斯公式的事件形式 假定k A A ,,1 是互不相容的事件，它们之和i k i A 1= 包含事件B ，即i k i A B 1=? 则有：∑==k i i i i i i A B P A P A B P A P B A P 1)()() ()()(（二）贝叶斯公式的密度函数形式 1.贝叶斯学派的一些具体思想 假设I ：随机变量X 有一个密度函数);(θx p ，其中θ是一个参数，不同的θ对应不同的密度函数，故从贝叶斯观点看，);(θx p 是在给定θ后的一个条件密度函数，因此记为)(θx p 更恰当一些。在贝叶斯统计中记为)(θx p 它表示在随机变量θ给定某个值时，总体指标X 的条件分布。这个条件密度能提供我们的有关的θ信息就是总体信息。 假设II ：当给定θ后，从总体)(θx p 中随机抽取一个样本X1，…，Xn ，该
样本中含有θ的有关信息。这种信息就是样本信息。 假设III ：从贝叶斯观点来看，未知参数θ是一个随机变量。而描述这个随机变量的分布可从先验信息中归纳出来，这个分布称为先验分布，其密度函数用)(θπ表示。 2.先验分布 定义1：将总体中的未知参数Θ∈θ看成一取值于Θ的随机变量，它有一概率分布，记为)(θπ，称为参数θ的先验分布。 3.后验分布 （1）从贝叶斯观点看，样本x =(1x ,…,n x )的产生要分两步进行。首先设想从先验分布)(θπ产生一个样本θ'，这一步是“老天爷”做的，人们是看不到的，故用“设想”二字。第二部是从总体分布p (x |θ')产生一个样本x =(1x ,…,n x ),这个样本是具体的，人们能看到的，此样本x 发生的概率是与如下联合密度函数成正比。 ∏='='n i i x p x p 1) ()(θθ这个联合密度函数是综合了总体信息和样本信息，常称为似然函数，记为)(θ'L 。频率学派和贝叶斯学派都承认似然函数，两派认为：在有了样本观察值x =(1x ,…,n x )后，总体和样本中所含θ的信息都被包含在似然函数)(θ'L 之中，可在使用似然函数作统计推断时，两派之间还是有差异的。 （2）由于θ'是设想出来的，它仍然是未知的，它是按先验分布)(θπ而产生的，要把先验信息进行综合，不能只考虑θ'，而应对θ的一切可能加以考虑。故要用)(θπ参与进一步综合。这样一来，样本x 和参数θ的联合分布 π θθ)(),(x p x h =把三种可用的信息都综合进去了。 （3）我们的任务是要求未知数θ做出统计推断。在没有样本信息时，人们
先验分布的确定
幻灯片67 其步骤如下： （1）写出样本的对数似然函数 ∑∏===??? ???=n i i n i i x p x p x l 1 1) |(ln )|(ln )|(θθθ （2）求样本的信息阵 p j i l E I j i x ,...,2,1,, )(2|=??? ????????-=θθθθ 2 |2(),x l I E θ θθ???=-????? 在单参数(p=1)场合, (3)Θ的无信息先验密度为 2 /1)] ([det )(θθπI = 1/2 ()[()] I πθθ= 在单参数(p=1)场合, 幻灯片68 2122(,,...,)(,),(,). n X x x x N Jeffreys μσθμσ==设是来自正态分布的一组样本试求的先验
2211 :()ln[] 2i x n i l x e μ σθπσ--==∑写出样本的对数似然函数 2 2 1 11 (,)ln(2)ln ().22n i i l n x μσπσμσ=?=-- -∑ 2222 2222() ()0:(,);20()()l l n E E Fisher I n l l E E μμσσμσσμσσ?????? -- ? ????? ?==?? ?????- - ?? ??? ???? ?其信息阵 42),(det -=?σσμn I 22,(,):(,)2.Jeffreys n μσπμσσσ--=∝所以的先验为 幻灯片69 2 2 1 1 :,(),:()1; ,()2,();,(,); n I I n σμπμσ μσσπσσμσπμσσ---= ∝=∝∝注当已知当已知当和独立 幻灯片70 例3.22 关于成功概率的无信息先验分布至今已有4种 π1(θ)=1 ——正常 π2(θ)=θ-1(1-θ)-1 ——不正常 π3(θ)=θ-1/2(1-θ)-1/2 ——正则化后可成为正常 π4(θ)=θθ(1-θ)(1-θ) ——正则化后可成为正常
贝叶斯分类仿真实验
实验一 贝叶斯分类仿真实验 1． 引言 贝叶斯定理用数学家Thoms Bayes 命名的，他是18世纪概率论和决策论的早期研究者。贝叶斯决策理论是主观贝叶斯派归纳理论的重要组成部分。 贝叶斯决策就是在不完全情报下，对部分未知的状态用主观概率估计，然后用贝叶斯公式对发生概率进行修正，最后再利用期望值和修正概率做出最优决策。 1.1 贝叶斯决策基本思想 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想： ★已知类条件概率密度参数表达式和先验概率； ★利用贝叶斯公式转换成后验概率； ★根据后验概率大小进行决策分类。 1.2 贝叶斯公式 设H1，H2，……，H M 为样本空间S 的一个划分，如果以P(Hj)表示事件Hi 发生的概率，且P(Hj)>0(j=1，2，…，n)。对于任一事件X,P(X)>0，则贝叶斯公式如下： P(Hj|X)=P(X|Hj)P(Hj)/ ∑=M j 1Hj)P(Hj)|P(X 2． 基于最小错误率贝的叶斯决策 2.1 对于贝叶斯公式的深入理解 对于引言中贝叶斯的公式，可能大家对P(H|X)与P(X|H)的区别是什么等问题存在疑问，下面我们就来深入理解该公式,X 是一个元组，假设其中可以分成M 类，M 的先验概率是P(H)，而P(X|H)则被我们看成是概率密度函数对于待归类的样品，贝叶斯可以计算出属于M 类中各个类的概率大小，看X 属于那个类的可能性大，就把他归属为那一类。 ★先验概率 针对M 个出现的可能性而言的，不考虑任何其他的条件。例如，有统计资料表明出产产品总数为N ，其中合格品为N1，不合格品为N2，P(H1)=N1/N ，P(H2)=N2/N 。我们可以看到，这两者都可以事先计算出来。但是如果我们只有先验概率是不够的，假设我们生产的产品是N1多于N2，那么我们得到的概率就是合格的可能性大于不合格的可能性，故我们只能把所有的产品都判断为合格，因为合格的概率大一些，但这样的结果并没有让我们把不合格的产品分离出来，这就表明我们仅从先验概率来进行分类识别是不够的，我们还需要更多的初始信息。于是我们引进了类条件概率密度。 ★类条件概率密度
贝叶斯统计
英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。贝叶斯的基本观点：1.认为未知参数是一个随机变量，而非常量。2.在得到样本以前，用一个先验分布来刻画关于未知参数的信息。3. 贝叶斯的方法是用数据，也就是样本，来调整先验分布，得到一个后验分布。4.任何统计问题都应由后验分布出发。 统计推断中主要有三种信息，一是总体信息，即总体分布或总体所属分布族给我们的信息；二是样本信息，即总体中抽取的样本给我们提供的信息；三是先验信息，即抽样之前有关统计问题的一些信息。贝叶斯学派和经典学派的不同在于对统计推断的三种信息使用的不同，基于前两种信息的统计推断称为经典统计学，它的基本观点是把数据看成是来自具有一定分布的总体，所研究的对象是这个总体而不局限于数据本身。基于以上三种信息进行的统计推断被称为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先验信息，在使用样本信息上也是有差异的。 贝叶斯学派的最基本的观点是：任何一个未知量θ都可看作一个随机变量，应用一个概率分布去描述对θ的未知状况。这个概率分布是在抽样前就有的关于θ的先验信息的概率陈述。因为任一未知量都有不确定性，而在表述不确定性程度时，概率与概率分布是最好的语言。这个概率分布就被称为先验分布。贝叶斯学派认为先验分布不必有客观的依据，它可以部分地或完全地基于主观信念。这个是经典学
派与贝叶斯学派争论的一个焦点，经典学派认为经典统计学是用大量重复试验的频率来确定概率、是“客观”的，因此符合科学的要求，而认为贝叶斯统计是“主观的”，因而只对个人做决策有用。这是当前对贝叶斯统计的主要批评。贝叶斯学派认为引入主观概率及由此确定的先验分布至少把概率与统计的研究与应用范围扩大到了不能大量重复的随机现象中来。其次，主观概率的确定不是随意的，而是要求当事人对所考察的事件有较透彻的了解和丰富的经验，甚至是这一行的专家，在这个基础上确定的主观概率就能符合实际。 若仅仅研究先验分布贝叶斯统计也就没大意思了，与先验分布对应的还有后验分布。我们先来看一下后验分布的定义，在样本x 给定下θ的条件分布被称为θ的后验分布。我们分析一下这句话，首先可以明白后验分布是一个条件分布，怎样的条件分布呢，在样本x 给定的条件下的条件分布，看来仍然是需要样本，在贝叶斯统计中的样本又是什么样子的呢？从贝叶斯观点看，样本),(1n x x x =的产生主要分两步。首先设想从先验分布()θπ产生一个样本θ'，这一步是“老天爷”做的，人们是看不见得，故用“设想”二字。第二步是从总体分布()θ'x p 产生一个样本),(1n x x x =，这个样本是具体的，人们能看的到的，此时样本x 发生的概率与如下联合密度函数成正比 ()()θθ'∏='=i n i x p x p 1 这个联合密度函数综合了总体信息与样本信息，常被称为似然函数，及为()θ'L .由于θ'是设想出来的，他仍然是未知的，它是按先验分布()θπ而产生的，要把先验分布进行综合，不能只考虑θ'，而应对
贝叶斯经典例子
贝叶斯经典例子 我发现他有其他女人内衣，他出轨的可能性有多大？ 2015-03-17 07:57 大数据文摘原创文章，如要转载，务必后台留言申请。 如果在男友的衣柜中发现了其他女人的内衣，你一定认为这个没良心的家伙出轨了，对不起你了，瞬间，你已经想出来N种对策——马上跳楼？不，我先去砍了他！哦，不！我得先砍了她再砍了他！不，我还是... 小编已经不敢再想了，太血腥了... 庆幸吧，你看到了这篇文章！ 在你决定采取动作之前，请务必完整阅读，其实男友出轨的概率并没有你想象的那么高！ 这个问题，老先生早就给出了答案 我们在计算一个事件发生的概率时需要考虑其他事件的信息则需要用到的概念。如果事件B的发生要以事件A的发生为前提，则 当然我们还可以用其他方法来计算条件概率。事件“B与A”与事件“A与B”是相同的，而又有 所以可得： 这便是由数学家托马斯×贝叶斯（Thomas Bayes）提出的著名（也称为贝叶斯定理）。这位18世纪英国教士留下的不起眼的公式给整个科学界和统计学界都带来了深远的影响。因为如果直接计算P(B|A)非常简单，但是想要反向计算P(A|B)就不是那么容易了。贝叶斯法则使得这种计算易如反掌。贝叶斯法则还有更加复杂的变形，现在常见的电子邮件垃圾过滤器与互联网里都用到了它。 分析男友出轨概率 不论你相信与否，对于这样的问题，贝叶斯定理总能给出答案——假如你知道（或者有意愿预估）下列三个量： 第一，你需要预测出自己伴侣在出轨的情况下，这件内衣出现的概率。（P(x｜B)）
这里一定要注意不能因为你手上拿了一件合格产品，就说是100％，实际上这个概率是要根据以下这个公式（即全概率公式）计算出来的：
贝叶斯后验分布例子
为了更好的理解后验分布我们来看一个例子 例1：为提高某产品的质量，公司经理考虑增加投资来改进生产设备，预计需投资90万元，但从投资效果上看下属两个部门有两种意见： 1θ：改进生产设备后，高质量产品可占90% 2θ：改进生产设备后，高质量产品可占70% 经理当然希望1θ发生，但根据两部门过去意见被采纳的情况，经理认 为40%第一个部门是可信度的，60%第二个部门是可信度，即随机变量投资结果过θ 的先验分布列为：()%401=θπ；()%602=θπ 这是经理的主管意见，经理不想仅用过去的经验来决策此事，想慎重一些，通过小规模实验，观察其结果后再定。为此做了一项实验，实验结果（记为A ）如下： A ：试制五个产品，全是高质量产品。 经理很高兴，希望通过这次结果来修正他原来对1θ和2θ的看法。下面 我们分别来求一下1θ和2θ的后验概率。 如今已有了()1θπ和()2θπ.还需要条件概率()1θA P 和()2θA P ,这可根据二项分布算的， ()590.09.051==θA P ；()168.07.052==θA P 由全概率公式可算的()()()()()337.02211=+=θπθθπθA P A P A P 最后由后验分布公式可求得： ()()()()7.0337.0/236.0/111===A P A P A θπθθπ ()()()()3.0337.0/01.1.0/222===A P A P A θπθθπ 这表明，纪理根据实验A 的信息调整了自己对投资结果的看法，把
对1θ和2θ的信任度由0.4,和0.6分别调整到了0.7和0.3。后者综合了 经理的主观概率和实验结果而获得，要比主观概率更具有吸引力，更贴近当前实际。当然经过实验A 后经理对投资改进质量的兴趣更大了，但如果为了进一步保险起见可以把这次得到的后验分布列再一次作为先验分布在做实验验证，结果将更贴近实际。 从上面这个例子中我们初步体验到了后验的求法，同时也能够看到贝叶斯统计的实用性。贝叶斯统计应用最做的是在决策方面，决策就是对一件事做出决定，它与统计推断的区别在于是否涉及到后果。统计推断依统计理论而进行，很少考虑到推断结果被使用时所带来的利润或造成的损失，这在决策中恰恰是不能忽略的。度量利损得失的尺度就是收益函数与损失函数，把收益函数和损失函数加入到贝叶斯推断就形成了贝叶斯决策论。 在这里首先明确几个概念 状态集{}θ=Θ，其中θ表示自然界（或社会）可能出现的一种状态，所有可能的状态的集合组成状态集。 行动集{}a =A ，其中每一个元素表示人对自然界可能采取的一个行动。 损失函数 ，在一个决策问题中假设状态集为{}θ=Θ，行动集为{}a =A ，定义在A ?Θ上的二元函数()a L ,θ称为损失函数，假如它能表示在自然界（或社会）处于状态θ，而人们采取行动a 对人们引起的（经济的）损失。 决策函数：在给定的贝叶斯决策问题中，从样本空间
先验概率、后验概率与似然估计
先验概率、后验概率与似然估计 本文假设大家都知道什么叫条件概率了（P(A|B)表示在B事件发生的情况下，A事件发生的概率）。 先验概率和后验概率 教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。 假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。堵车的概率就是先验概率。 那么如果我们出门之前我们听到新闻说今天路上出了个交通事故，那么我们想算一下堵车的概率，这个就叫做条件概率。也就是P(堵车|交通事故)。这是有因求果。 如果我们已经出了门，然后遇到了堵车，那么我们想算一下堵车时由交通事故引起的概率有多大， 那这个就叫做后验概率（也是条件概率，但是通常习惯这么说）。也就是P(交通事故|堵车)。这是有果求因。 下面的定义摘自百度百科： 先验概率是指根据以往经验和分析得到的概率,如全概率公式,它往往作为"由因求果"问题中的"因"出现. 后验概率是指依据得到"结果"信息所计算出的最有可能是那种事件发生,如贝叶斯公式中的,是"执果寻因"问题中的"因". 那么这两个概念有什么用呢？ 最大似然估计 我们来看一个例子。 有一天，有个病人到医院看病。他告诉医生说自己头痛，然后医生根据自己的经验判断出他是感冒了，然后给他开了些药回去吃。 有人肯定要问了，这个例子看起来跟我们要讲的最大似然估计有啥关系啊。 关系可大了，事实上医生在不知不觉中就用到了最大似然估计（虽然有点牵强，但大家就勉为其难地接受吧^_^）。 怎么说呢？ 大家知道，头痛的原因有很多种啊，比如感冒，中风，脑溢血...（脑残>_<这个我可不知道会不会头痛，还有那些看到难题就头痛的病人也不在讨论范围啊！）。 那么医生凭什么说那个病人就是感冒呢？哦，医生说这是我从医多年的经验啊。 咱们从概率的角度来研究一下这个问题。 其实医生的大脑是这么工作的， 他计算了一下 P(感冒|头痛)（头痛由感冒引起的概率，下面类似） P(中风|头痛) P(脑溢血|头痛) ... 然后这个计算机大脑发现，P(感冒|头痛)是最大的，因此就认为呢，病人是感冒了。看到了吗？这个就叫最大似然估计（Maximum likelihood estimation，MLE）。 咱们再思考一下，P(感冒|头痛)，P(中风|头痛)，P(脑溢血|头痛)是先验概率还是后验概率呢？ 没错，就是后验概率。看到了吧，后验概率可以用来看病（只要你算得出来，呵呵）。 事实上，后验概率起了这样一个用途，根据一些发生的事实（通常是坏的结果），分析结果产生的最可能的原因，然后才能有针对性地去解决问题。