信息论与编码期末复习(基本上涵盖了所有考点,有了这份资料,期末绝不会挂科)

信息论与编码期末复习（基本上涵盖了所有考点，有了这份资料，期末绝不会挂科）

1填空题

1、信息论研究的主要问题是如何提高信息传输系的性和性，对应这两个性能数字通讯系统

量化指标分别为和。

2、若给定离散概率空间[X,p(x)]表示的信源，则该信源中的信源消息（事件）x的自信息量可表

I(x)= ；该信源平均自信息量（即信源的熵）可表示为H(X)=E[I(x)]= 。

3、在离散联合概率空间[XY,P(xy)] 上随机变量I(xy) 的数学期望H（XY）= ，若集合X与集

合Y相互独立，则H（XY）= 。

4、若给定离散联合概率空间[XY,P(xy)]，则x与y之间的互信息量I(x;y)= ；平均互信息量可用熵和条

件熵表示即I(X;Y)= = ，其中条件熵H(X|Y)通常称为熵，条件熵H(Y|X) 称为____________熵；若集合X与集合Y相互独立，则H(X|Y) = ，H(Y|X) = ，平均互信息量I(X;Y)= 。

5、离散信源的冗余度是R表示信源消息的可压缩____________，设信源符号集的最大熵为Ho，实际熵为Ｈ∞，

则冗余度Ｒ可表示为______________；信源编码目的就是通过减少或消除信源____________来提高信息传输效率，因此信源编码亦称__________性编码，而信道编码则称__________性编码。

6、对于连续随机变量，在峰值功率受限于P m的条件下，取得最大相对熵的最佳概率密度函数是一个恒值即

W opt(x)=_________,称W(x)为__________分布，这时最大相对熵H cmax=__________。

7、对于平均功率受限，均值不为零的一维连续随机变量的方差为定值时，其取得最大相熵的最佳概率密度函数为

正态分布，即W

opt(x)= _________ ，最大相对熵H cmax=__________。

8、假设任一随机变量X与一正态分布随机变量具有相同的相对熵Ｈｃ，则其等效正态分布

的随机变量Ｘ的熵功率为Ｐ＝；可以用信号平均功率和熵功率的相对差值_________来表示连续信源的冗余度。

9、离散无记忆信道的信息传输率就是，即R=I(X;Y)，信道容量就是指最大的，即

C=。

10、在离散无记忆信道中的可逆矩阵信道是指信道转移矩阵P为时，即矩阵P-1存在，则有

可能用计算该信道容量C。

11、对于离散无记忆信道，若信息传输率达到了信道容量，我们称信源与信道达到，信道剩余度定义为:

信道剩余度=C；在无损信道中，信道容量C=（n为信道输入符号个数），无损信道的相对剩余度=，这表明无损信道可以通过编码减少剩余度，使信息传输率达到C；编码就是要将信源输出的消息编码成为新的码元符号来传输，而使新的码元符号的熵接近最大熵。这时信道剩余度接近于，信道得到充分利用，这就是香农无失真信源理论。

12、对于时间离散连续信道，在给定噪声功率下，干扰是最坏的情况，在干扰时，

信道容量最小，如果信道干扰统计特性未知时，把干扰看成是分布是比较安全的。

13、积信道的信道容量C=,和信道的信道容量C=,输入并接信道容量C满

足。

14、在信源编码中，按码字长度的不同，可将码分为码和码，按码字是否全部相同可分为

码和码，一般说，要实现无失真的编码，要求所编的码是可译码。

15、若q为信源符号的个数，r为码符号的个数，l为等长码的码长，则对信源进行等长唯一可译码编码，必须满

足的条件为q。

16、变长编码可使出现概率大的信源符号用较（长、短）码字表示，出现概率小的信源符号用较

（长、短）的码字表示；是指在译码时无需参考后续的码符号就能立即做出判断的一类码（即一个

码的码元符号是否到齐，不需后续的码符号来判断）；逗点码是的一种；紧致码（最佳码）平均长度满足。

17、由香农第一定理（变长无失真信源编码定理又称无噪声定理）可推出，当平均码长达到极限

时，编码后的信息传输率为R=bit/码符号

18、香农第二定理（即定理）研究怎样使消息通过有噪信道传输后产生的错误最少，即研究通

信的性问题。

19、最大后验概率译码准则是指将每一个输出符号译成具有最大后验概率的那个输入符号时，信道平均错误概率

就能最（大、小）；最大似然译码准则是指将每一个输出符号译成具有最大概率（在信道矩

6、霍夫曼（Huffman）不是最佳码（紧致码）。（）

7、费渃（Fano）码是最佳码（紧致码）。（）

8、连续信源和离散信源的平均互信息都具有非负性。（）

9、连续信源和离散信源的熵都具有非负性。（）

10、定长编码的效率一般不小于不定长编码的效率。（）

四、概念简述题

1简述数据处理定理（即信息不增性定理）的物理意义

串联信道的输入输出X、Y、Z组成一个马尔可夫链，且I(X;Z) ≤I(X;Y), I(X;Z) ≤I(Y;Z),经过数据处理后，一般只会增加信息的损失，至多保持原来获得的信息，不可能增加原来获得的信息。物理意义：在任何信息传输系统中，最后获得的信息至多是信源所提供的信息，如果在信息传输的某一过程丢失信息，无论系统如何处理，如不触及到丢失信息过程的输入端，都不可能恢复丢失的信息。

2简述在并行可加高斯信道上，各子信道信号功率分配原则（即注水定理）？

对于平均功率受限的时间离散的恒参可加噪声信道容量C满足?log（σ2+S）σ2/≤C≤?log（σ2+S）/σ2, 当并行组合信道各自信道的干扰功率不等时，为了达到最大传输能力，要求对输入信号总功率适当地进行分配。当σ2≥B时，不分配能量，即不在此子信道传任何信息，当σ2

3简述等长信源编码定理的物理意义

一个熵为H(S)的离散无记忆信源，如对信源长为N的符号序列进行等长编码，设码字是从r个符号组成的码符号集中选取L个码符号组成的，对于任意的ε>0,只要满足L/N≥(H(S)+ ε)/logr,则当N足够大时，几乎可实现无失真编码，即译码错误概率能任意小，反之，若L/N≤(H(S)-2ε)/logr，则不肯能实现无失真编码，而当N足够大时，译码错误概率近似等于1。物理意义：只要码字传输的信息量大于信源序列携带的信息量，总能实现几乎无失真编码，而且传输效率接近于1，但它的条件是要求N充分长，当N有限时，高传输率的等长码往往要引入一定的失真和错误。

4简述变长无失真信源编码定理（香农第一定理）的物理意义

若对信源SN进行编码，总可以找到一种编码方法，构成唯一可译码，使信源S中每个信源符号所需的码字平均长度满足H(S)/logr≤LN/N＜1/N +H(S)/logr,当N―∞时，则得lim LN/N=Hr(S).物理意义：对离散信源进行适当的变换，使变换后新的码符号信源尽可能等概率分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。（无失真编码的实质）

5简述无失真信源编码定理（无噪信道编码定理）的物理意义

若信息传输率R不大于信道容量C，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大信息传输率C传输信息，但要使信息传输率R大于C而无差错地传输信息是不可能的。

6最大后验概率准则（最小错误概率准则）的物理意义

要使P(e/bj)为最小，应选择P[F(bj)/(bj)]为最大，即选择译码函数：F(bj)=a * 并且满足条件P(a */bj) ≥P(aj/bj), 就是说如果采用这种译码函数，它对每一个输出符号译成具有最大后验概率的那个输入符号，则信道错误概率就能最小。

最大似然译码准则：若假设输入符号的先验概率P（ai）均相等，则选择译码函数F(bj)=a * 并且满足条件P(/bj /a *) ≥P(bj / aj)。最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。

最小距离译码准则下，将接收序列译为与其距离最小的码字。三者关系为：输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。

7信道编码定理（香农第二定理）的物理意义

设某信道有 r个输入符号，s个输出符号，信道容量为C。当R

8信道编码定理的逆定理的物理意义

设某信道有 r个输入符号，s个输出符号，信道容量为C，令ε为任意小的正数。若选用码字个数为M=2n(C+ε),则无论n多大也不可能找到一种编码，使译码错误概率任意小。物理意义：如果R>C，就不可能找到一种编码使输出端的错误概率任意小

9简述对称密钥和非对称密钥两种体制的原理（图示）及优缺的

对称加密：加密解密使用相同的密锁，优点：算法处理速度快，缺点：密钥分配问题，密钥管理问题，无法源认证。

非对称：加密解密使用不同的密钥处理方式。优点：密钥分发方便，密钥保管量少，支持数字签名

10限失真信源编码定理（香农第三定理）的物理意义

设R(D)为一离散无记忆信源的率失真函数，如果编码后平均每个信源符号的信息传输率R>R(D),则一定存在一种信源编码C，使编码后的平均失真度d(C) ≤D.

11信源编码逆定理的物理意义

当编码后平均每个信源符号的信息传输率R小于率失真函数R(D)时，无论采取什么编码方式，一定有平均失真度d(C)>D. 物理意义：在允许失真D确定后，总存在一种编码方法，使编码后的信息传输率R> R(D)，且可任意接近于R(D)，而平均失真小于允许失真D。如果R

12简述网络信息论研究的一般问题和主要内容及方法。

网络信息论研究问题：在给定网络中已知信道整体特性的情况下求解网络的最大信息量，或已知信源特性的情况下求解信源信息的有效表示法

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

秋《信息管理》复习资料

2018秋《信息管理概论》期末复习及答案 备注：（答案我是根据你们上传的网上资料，如有错误，请马上修改，重发。班主任） 一、试卷类型： 1、填空题（共20空，20%） 2、名词解释（共4个，20%） 3、判断题（共10题，10%）选择题（10%） 4、问答题（共5题，50%） 二、考试形式：采用半开卷考。 第二部分期末复习综合练习(以作业内容为主要依据) 一、填空题 1、纵观人类信息管理活动所采用的手段与方法，信息管理活动的发展分为三个时期分别是：（古代信息管理活动时期）、（近代信息管理活动时期）和（现代信息管理活动时期） 2、以( 第二次世界大战 )结束为标志，信息管理活动进入了现代信息管理时期。 3、从信息管理的起源角度，有三个领域认为信息管理起源于它们的工作，分别是 ( 图书馆领域 )、(工商企业管理领域 ) 和 ( 政府行政管理领域 ) 三个领域。 4、从对信息管理理解的不同层面角度，信息管理具有两方面的特征，一方面是技术特征，另一方面是( 管理理念)特征，它们共同构成了信息管理的内涵与特色。 5、联合国科教文组织认定的图书馆四项职能是：（保存人类文化遗产）、（社会信息流整序）、（传递情报）、（启发民智的文化教育）。 6、人们对信息管理的认识与把握至少表达出五种不同的含义，分别有（信息内容管理）、信息媒体管理、（计算机信息管理）、（管理信息系统）、信息产业或行业队伍管理。 7、一般认为，信息管理思想的发展历史可分为四个阶段，分别是：（传统管理）阶段，（信息系统管理）阶段，（信息资源管理）阶段，（知识管理）阶段。 8、知识管理的发展始终围绕着（组织）、（人）和（信息技术）这三个要素。 9、全信息的三要素分别为（语法信息）（语义信息）（语用信息） 10、联合国经合组织（OECD）将知识分为四种类型，即（事实知识）、（原理知识）、（技能知识）、（人际知识）。 11、物质、能量、( 信息)是一切客观事物的三个基本方面。人们在长期的科学实践中建立和发展了材料科学、能源科学和（信息科学）科学，成为现代科学技术的三大支柱。 12、信息资源的功能主要表现在四个方面，分别是：（经济功能）、（管理与协调功能）、选择与决策功能、研究与开发功能。 13、管理学作为一门独立的边缘学科，它的诞生以（泰勒）的“科学管理”思想的提出为标志。 14、大众信息交流的媒体主要有( 印刷媒介 )和( 电子媒介 )两大类。 15、对现代组织而言，组织的宣传活动是其向外输出信息的主要方法手段，宣传活动可分为三类：（公关宣传）、（广告宣传）和标识系统宣传。 16、一般说来，组织信息交流分为组织（内部）的信息交流和组织（外部）的信息交流两种形式。 17、大众信息交流的基本功能可以概括为：（传播信息）、引导舆论、（教育大众）、提供娱乐。

信息论与编码试卷与答案

一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是 0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

信息论与编码习题参考答案(全)

信息论与编码习题参考答案 第一章 单符号离散信源 同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。 解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。 （1） 若仅有质点A ，求A 落入任一方格的平均信息量； （2） 若已知A 已落入，求B 落入的平均信息量； （3） 若A ，B 是可辨认的，求A ，B 落入的平均信息量。 解： ！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率 从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量 解：

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）

管理信息系统期末复习资料

管理信息系统期末复习资料 一、单项选择题 1.面向对象的编程方法的英文缩写是（C）。 A．SA B．OOD C．OOP D．OOA 2.结构化分析与设计是信息系统开发时常用的方法，按其生命周期特征，它应属于（D）D．瀑布模型 3.结构化开发方法系统分析阶段的正式文档是（B）B．系统分析报告 4.下面哪句话最准确地概括了结构化方法的核心思想（D）。 D．自顶向下，由粗到细，逐步求精 5.原型化方法一般可分为三类，即（C）C．探索型、实验型、演化型 6.总体规划阶段的主要工作不包括（C）。C．建立系统的逻辑模型 8.管理是一项有序化的、经常性的过程，其最重要的职能之一就是（决策）。 8.执行层或称作业层的管理属于（C）。C．基层管理 9.战略级管理属于（B）。B、高层管理 10.C/S 是一种重要的网络计算机模式，其含义是A.客户/服务器模式 11.人们通常用下面的英文缩写表示会计信息系统 C. AIS 12.原型化方法一般可分为三类，即 B. 探索型、实验型、演化型 13.总体规划阶段的最终结果是 C. 可行性报告 14.一般说来，战略管理层的决策活动属于（B）。B．非结构化决策 18.B/S是一种重要的网络计算机模式，其含义是：D．浏览器/服务器模式 18.管理信息系统的层次结构中，最高层是（B）。B．战略计划子系统 19.信息系统开发各阶段的顺序是（B）。 B．总体规划、系统分析、系统设计、系统实施、运行维护、系统评价 1. 对当前系统进行初步调查工作应重点在哪个阶段进行（A）A. 总体规划阶段 13.管理信息系统的横向结构是按（B）划分的。B．管理职能 14.管理信息系统通常可分为多个子系统，其结构为（C）。C．层次结构 15.管理信息系统的交叉结构是指管理信息系统的（A）。A．管理职能结构 16.总体规划是系统生命周期中的第一个阶段，其主要任务是明确C. 系统是什么 13.下列描述正确的是A.总体规划是系统开发中的首要任务 1.导出模块结构图的基础是（A）。A．数据流图 2.下列耦合方式中耦合度最低、性能最好的是（B）。B．数据耦合 3.总体规划的目的包括D．保证信息共享、协调子系统间的工作、使开发工作有序进行 4.系统总体规划的最终目的是（A）。A．勾画出企业信息系统建设的蓝图 5.一个合理的模块划分应该是内部联系( B)。B．强 6.系统测试的正确步骤是（B）。B．模块测试、子系统测试、系统总体测试 7.模块间的信息联系方式称为模块的（ C ）。C．耦合 8.总体规划阶段的最终结果是（C ）。C．可行性报告 9.下列比较适合较大系统的切换方式是（ C ）。C．分段切换 10.系统设计阶段的主要任务是根据系统的逻辑模型建立物理模型，以便说明C．系统怎 么干 11.系统测试的对象是（D）。D．整个系统 12.系统测试的正确定义是（A）。A．为了发现程序中的错误而执行程序的过程 13.对当前系统进行初步调查工作应重点在哪个阶段进行A．总体规划阶段 14.系统设计阶段的主要成果是（ C ）。C．系统设计说明书

信息论与编码试题-精选.

模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求

和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。

8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量：

，，

10.已知一（3，1，3）卷积码编码器，输入输出关系为：

试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？

管理信息系统期末复习题及答案整理版

管理信息系统》期末复习题2 一、单选题 1.管理信息系统是一种（）。 A.自然系统 B.人工系统 C.信息处理系统 D.抽象系统 2.用户通过终端设备向系统提出服务请求，系统完成服务后通过终端即时回答用户，这样的信息处理系统属于（）。 A.计算机系统 B.批处理系统 C.实时处理系统 D.分布处理系统 3.关系模型是把数据的逻辑结构归结为满足一定条件的（）模型。 A.层次 B.网状 C.一维表 D.二维表 4.系统开发过程中最重要.最关键的环节是（）。 A.系统分析 B.系统设计 C.系统实现 D.A和B 5.描述信息系统逻辑模型的主要工具是（）。 A.数据流图 B.数据字典 C.数据处理功能分析表 D.数据-功能格栅图 6.系统调试完成后，在实施系统转换.投入试运行之前，必须做好编写（）和人员培训工作。 A.系统说明书 B.系统实施方案 C.系统使用说明书 D.系统测试报告 7.网络上的每一个节点都有系统数据的完整拷贝，而且所有节点上的数据更新是同步的，这样的数据分布形式是（）数据分布形式。 A.集中式 B.分片式 C.重复式 D.混合式 8.系统对提高企业科学管理水平，增强企业竞争力以及提高管理人员素质等带来的收益属于（）。 A.直接经济效益 B.间接经济效益 C.系统收益 D.投资回收效益 9.在系统转换中，中间没有过渡阶段，用新系统立即替换旧的系统，这种转换方式称为（）。 A.直接转换 B.并行转换 C.试运行转换 D.分阶段转换 10.层次码是一种（）。 A. 顺序码 B.区间码 C.助记码 D.缩写码 二、填空题 1.管理信息系统是以计算机为基础的及以人作为系统组成部分的（）系统。 2.根据系统的一般模型，系统应包括（）、（）和（）。 3.数据库系统的组成部分包括（）、（）和（）。 4.基于面向对象方法的系统开发过程分三个阶段：即（）、（）和

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？ 平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。 平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？ 最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？ 信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。 平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。 数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有， 。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为 ，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。 由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。 二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

信息论与编码技术复习题2

《信息论与编码技术》复习题（2） 一、（32分）综合概念题 1. 什么是系统码和典型矩阵？写出常用的典型生成矩阵的两种形式。 2. 根据平均互信息定义的信道容量是指： a. 信道固定时的最大平均互信息； b. 信道固定时的最小平均互信息； c. 信源固定时的信道的最小平均互信息； d. 信源固定时的信道的最大平均互信息。 3. 什么是离散平稳信源？ a. 任意两个不同时刻随机矢量的各维概率分布都相同； b. 任意两个不同时刻随机矢量的各维概率分布都不相同； c. 任意两个不同时刻随机矢量的各维概率密度函数都相同； d. 任意两个不同时刻随机矢量的各维概率密度函数都不相同。 4. 设计一个信道容量为22 kbit/s 的电话信道，若信道上的信号与噪声的平均功率比值为20 dB ，请问该信道的通频带应该为多少？ 5. 设信源有q 个符号，则当信源 分布时熵最大，其最大值为 。 6. 当信道固定时，平均互信息是输入分布的 函数；当信源固定时，平均互信息是信道转移概率的 函数。 7. 信源编码是通过压缩信源冗余度来提高 ，而信道编码是增加冗余度来提高 。 8. 请判断具有下列码长{1, 2, 3, 3, 3, 4}的二进制码是否可构成唯一可译码。 二、（10分）设有对称信源(s = r = 4)，信源X = {a 1, a 2, ..., a r } = {0, 1, 2, 3}，信宿Y = { b 1, b 2, ..., b s } = {0, 1, 2, 3}。若失真度定义为：d (a i , b j ) = (b j -a i )2，求其失真矩阵D 。 三、（15分）某离散无记忆信源?? ????=??????4.06.0)(21a a x p X ，通过图1的信道传输，求： 图1 离散信道 （1）该信源中a 1和 a 2分别含有的自信息； （2）X 和Y 的信息熵； （3）信道的疑义度H (X|Y )； （4）接收到信息Y 后获得的平均互信息量。 四、（16分）设有一个离散无记忆信源?? ????=??????5.03.02.0)(321a a a x p X ， （1）对该信源进行二元费诺编码，计算其平均码长和编码效率；

信息论与编码期中试卷及答案

信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）

信息管理学教程期末复习资料

名词解释 1、管理：管理是通过计划、组织、指挥、协调、控制等基本管理功能，有效地利用人力、财力、设备、技术、信息诸种因素，促使它们密切配合，发挥它们最高的效率，以达到预期的目标。 2、信息管理：是在管理科学的一般原理指导下，对信息活动中的各种要素，包括信息、人员、资金、设备、技术等，进行科学地规划、组织、协调和控制，以充分开发和有效利用信息资源，从而最大限度地满足社会的信息需求。 3、MIS：管理信息系统。 4、IRM：信息资源管理。 5、SCM：供应链管理。 6、BPR：企业过程再工程。 7、ERP：企业资源计划。 8、CRM:客户关系管理。 9、信息：是事物的状态、特征及其变化的客观反映，是客观事物通过一定的物质载体传递。 10、信息资源：是信息与资源两个概念整合衍生出来的新概念，只有满足一定条件的信息才能称之为信息资源，作为资源的信息，也就是所谓“有用的信息”或“可以利用的信息”。也就是可以利用的信息的集合。 11、狭义的信息资源：是指信息本身或信息内容，即是经过加工处理的，对决策者有用数据。 12、广义的信息资源：信息资源是信息活动中各种要素的总称(包括信息、技术、设备、资金和人等要素)，是将信息资源作为系统概念看待。 13.信源：发出信息的来源

信道：信息传递的通道 信宿：信息接收者 14、信息资源管理：狭义的信息资源管理是指对信息本身即信息内容实施管理的过程。广义的信息资源管理是指对信息内容及与信息内容相关的资源如设备、设施、技术、投资、信息人员等进行管理的过程。 15、信息高速公路：从技术上的角度看，实际上是软件、硬件、通信网络技术和信息处理技术不断发展与集成的结果。 16、信息系统：输入数据，经过加工处理后，输出信息的系统。 17、EDPS：电子数据处理系统 18、DSS：决策支持系统 19、ES：专家系统 20、EIS：主管信息系统 21、OAS：办公自动化系统 22、SIS：战略信息系统 23、信息采集：是信息资源能够得以充分开发和有效利用的基础。 24、信息组织：是对所采集的信息实施有序化的过程，是信息管理过程的核心内容之一。 25、内源信息流：是指来源于经营系统内部的或经营企业内部的信息流动。27、外源信息流：是指来自经营部门之外，但与经营部门的经营活动有着密切联系的，外部社会环境和经营内部的信息流。 28、信息流：人类管理和控制下的信息的有序流动。 29、信息处理：一切为更好地利用信息而对信息所实施的处理工作过程。

信息论与编码试题集与答案

一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成客观信息和主观信息。 人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。 信息的可度量性是建立信息论的基础。 统计度量是信息度量最常用的方法。 熵是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。

信息论与编码复习题

一、填空题 1.设信源X 包含4个不同离散消息，当且仅当X 中各个消息出现的概率为___Pi=1/4___时，信源熵达到最大值，为__2bit_，此时各个消息的自信息量为____2bit_______。 2.如某线性分组码的最小汉明距dmin=4，则该码最多能检测出___3_____个随机错，最多能 纠正___INT__个随机错。 3.克劳夫特不等式是唯一可译码___存在___的充要条件。 4.平均互信息量I(X;Y)与信源熵和条件熵之间的关系是_I （X ：Y ）=H （X ）-H （X/Y ） 5.__信源__编码的目的是提高通信的有效性，_信道_编码的目的是提高通信的可靠性，__ 加密__编码的目的是保证通信的安全性。 6.信源编码的目的是提高通信的 有效性 ，信道编码的目的是提高通信的 可靠性 ，加密 编码的目的是保证通信的 安全性 。 7.设信源X 包含8个不同离散消息，当且仅当X 中各个消息出现的概率为__1/8_____时，信 源熵达到最大值，为___3bit/符号_________。 8.自信息量表征信源中各个符号的不确定度，信源符号的概率越大，其自信息量越__小____。 9.信源的冗余度来自两个方面，一是信源符号之间的_相关性__，二是信源符号分布的 __不均匀性___。 10.最大后验概率译码指的是 译码器要在已知r 的条件下找到可能性最大的发码Ci 作为移 码估值 。 11.常用的检纠错方法有__前向纠错__、反馈重发和混合纠错三种。 二、单项选择题 1.下面表达式中正确的是（ A ）。 A. ∑=j i j x y p 1)/( B.∑=i i j x y p 1)/( C.∑=j j j i y y x p )(),(ω D.∑=i i j i x q y x p )(),( 2.彩色电视显像管的屏幕上有5×105 个像元，设每个像元有64种彩色度，每种彩度又有 16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现，并且各个 组合之间相互独立。每秒传送25帧图像所需要的信道容量（ C ）。 A. 50106 B. 75106 C. 125106 D. 250106

信息论与编码期末试卷

上海大学2011～2012学年度冬季学期试卷（A卷） 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明： 我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩

管理信息系统期末复习题及答案1

《管理信息系统》期末复习题5 一、填空题 1.根据系统的一般模型，系统应包括（）、（）和（）三部分。 2.数据字典包括（）、（）和（）三种表。 3.建立管理信息系统的开发环境的方法有：工具集成法、（）和（）。 4.管理信息系统的开发方法主要有（）、（）、（）。 5.系统分析工作的关键点或称工作要点在于（）和（）。 6的中文含义是（）。 7. （）和物理模型的主要差别就是做什么和如何做的差别。 8. （）特指系统的保密功能和防病毒功能，是系统设计的主要原则之一。 9. （）是代码设计的首要任务。 10.模块的耦合方式主要有（）、（）、（）三种。 二、单项单选题 1.系统与环境由系统的（）所划分，在它之内称为系统，

在它之外称为环境。 A.边界 B.输入 C.处理 D.输出 2.系统开发过程中最重要、最关键的环节是（）。 A.系统分析 B.系统设计 C.系统实现和B 3.地理信息系统的英文缩写是（）。 4.决策支持系统的主要对象是（）的决策。 A.结构化 B.管理 C.半结构化 D.经济 5.数据库结构的三个模式中，（）是数据库结构的核心。 A.模式 B.存储模式 C.子模式 D.模式与子模式 6.描述信息系统逻辑模型的主要工具是（）。 A.数据流 B.数据字典 C.数据处理功能分析表 D.数据-功能格栅图 7.从程序的逻辑结构入手进行测试的方法是（）。 A.白盒测试 B.黑盒测试 C.全面测试 D.部分测试 8. 对进行经济效益评价时，提高管理效率属于的（）。 A.间接效益 B.直接效益 C.管理效益 D.开发效益 9.建立管理信息系统的组织基础是指建立管理信息系统中组织内部所需的（）。 A.技术性条件 B.非技术性条件 C.管理基础条件 D.人才基础条件

信息管理学复习资料

第1章信息与信息管理 信息的一般定义： 信息是认知主体对物质运动的本质特征、运动方式、运动状态以及运动的有序性的反映和揭示，是事物之间的相互联系、相互作用的状态的描述。 信息管理界的“信息”定义 信息：按照用户决策的需要，经过加工处理的数据。 企业管理界的“信息”定义 信息：管理活动的特征及其发展情况的情报、资料等的统称。 信息的特征 ?普遍性。自然界、人类社会的任何物质都是信息的母体。信息无处不在、 无时不有。 ?信息产生的广延性与无限性 ?信息在时空上的传递性 ?信息对物质载体的独立性 ?信息对认识主体的相对性：由于人们的认知能力各不相同，他们从同一事 物中获取的信息及信息量也不相同。 ?共享性 ?不可变换性和不可组合性 时效性：事物在不停地运动和变化，而脱离源事物的信息会逐渐失去效用。 信息化是指培养、发展以计算机为主的智能化工具为代表的新生产力，并使之造福于社会的历史过程。 信息和信息技术的巨大作用，导致政府和各行各业都最大限度地利用信息技术，充分开发信息资源，提高自身的效能和效率。这种现象称为信息化。 信息化的核心点： 利用先进的信息技术，对信息资源充分地开发和利用。 信息化的层次可以分为5个： （1）产品信息化； （2）企业信息化；（信息化的核心和基础） （3）行业信息化；（如工业、农业、服务业等，信息化与工业化的结合点）（4）国民经济信息化 （5）社会生活信息化 信息管理的对象：信息、信息活动 信息管理的定义 狭义的信息管理：对信息内容的管理。

广义的信息管理：不仅是对信息本身的管理，而且对涉及信息活动的各种要素，如信息、技术、人员进行合理的组织和控制。 信息管理：个人、组织、社会为了有效地开发和利用信息资源，以现代信息技术为手段，对信息资源实施组织和控制的社会活动。 信息管理内涵剖析： （1）概括了信息管理的三个要素——信息、技术、人员 （2）体现了信息管理的两个方面——信息资源、信息活动 （3）反映了管理活动的基本特征——规划、组织、控制 信息资源：可供利用的信息的集合。 信息资源有三要素：信息生产者、信息、信息技术 信息管理流程：信息生命周期管理 信息的创建（生产/发布）：机构、网络、规范性 信息采集 信息组织：序化、有效的系统 信息存储：共享、保护、备份、恢复 信息利用：价值实现 信息清理（销毁/回收） 第2章信息交流 信息交流的分类 a)人与自然的信息交流（非生物与其他生物） b)人与人的信息交流 c)人与人信息交流的社会性特征 信息交流的定义：在不同时间和空间上，认知主体之间借助符号系统所进行的数据、知识和事实等信息传递与交流的过程。 共时信息交流：横向（克服交流的空间障碍） 历时信息交流：纵向（消除交流的时间障碍） 申农-维弗的通信模型

信息论与编码复习资料(新)

“信息论与编码”复习 1．消息、信号、信息的含义、定义及区别。 信息是指各个事物运动的状态及状态变化的方式。 消息是指包含信息的语言，文字和图像等。 信号是消息的物理体现。 消息是信息的数学载体、信号是信息的物理载体 信号：具体的、物理的 消息：具体的、非物理的 信息：非具体的、非物理的 同一信息，可以采用不同形式的物理量来载荷，也可以采用不同的数学描述方式。同样，同一类型信号或消息也可以代表不同内容的信息 2．信息的特征与分类。 1接收者在收到信息之前，对其内容是未知的，所以信息是新知识，新内容； 2信息是能使认识主体对某一事物的未知性或不确定性减少的有用知识； 3信息可以产生，也可以消失，同时信息可以被携带，被存储及处理； 4信息是可以量度的，信息量有多少的差别。 31948年，Shannon提出信息论，“通信中的数学理论”—现代信息论的开创性的权威论文，为信息论的创立作出了独特的贡献。 4．通信系统的物理模型（主要框图），各单元（方框）的主要功能及要解决的主要问题。 信源的核心问题是它包含的信息到底有多少，怎样将信息定量地表示出来，即如何确定信息量。 信宿需要研究的问题是能收到或提取多少信息。 信道的问题主要是它能够传送多少信息，即信道容量的多少。

5．通信的目的？要解决的最基本问题？通信有效性的概念。提高通信有效性的最根本途径？通信可靠性的概念。提高通信可靠性的最根本途径？通信安全性的概念，提高通信安全性的最根本途径？ 通信系统的性能指标主要是有效性，可靠性，安全性和经济性。通信系统优化就是使这些指标达到最佳。 从提高通信系统的有效性意义上说，信源编码器的主要指标是它的编码效率，即理论上所需的码率与实际达到的码率之比。提高通信有效性的最根本途径是信源编码。减少冗余。 提高可靠性：信道编码。增加冗余。 提高安全性：加密编码。 6．随机事件的不确定度和它的自信息量之间的关系及区别？单符号离散信源的数学模型，自信息量、条件自信息量、联合自信息量的含义？ 信源符号不确定度：具有某种概率的信源符号在发出之前，存在不确定度，不确定度表征该符号的特性。符号的不确定度在数量上等于它的自信息量，两者的单位相同，但含义不同： ?不确定度是信源符号固有的，不管符号是否发出； ?自信息量是信源符号发出后给予收信者的； ?为了消除该符号的不确定度，接受者需要获得信息量。 自信息量 8．信息量的性质？含义？分别从输入端、输出端和系统总体来理解互信息量的含义。 自信息量指的是该符号出现后，提供给收信者的信息量。 9. 各种熵（信源熵，条件熵，联合熵（共熵），等）的含义及其关系。 信源熵：

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方