当前位置：文档库 › 信息论与编码第2章习题解答

信息论与编码第2章习题解答

2.1设有12枚同值硬币，其中一枚为假币。只知道假币的重量与真币的重量不同，但不知究竟是重还是轻。现用比较天平

左右两边轻重的方法来测量（因无砝码）。为了在天平上称出哪一枚是假币，试问至少必须称多少次？

解：分三组，每组4个，任意取两组称。会有两种情况，平衡，或不平衡。

(1) 平衡：

明确假币在其余的4个里面。从这4个里面任意取3个，并从其余8个好的里面也取3个称。又有两种情况：平

衡或不平衡。

a ）平衡：称一下那个剩下的就行了。

b ）不平衡：我们至少知道那组假币是轻还是重。

从这三个有假币的组里任意选两个称一下，又有两种情况：平衡与不平衡，不过我们已经知道假币的轻重情况了，

自然的，不平衡直接就知道谁是假币；平衡的话，剩下的呢个自然是假币，并且我们也知道他是轻还是重。

(2) 不平衡：

假定已经确定该组里有假币时候：

推论1：在知道该组是轻还是重的时候，只称一次，能找出假币的话，那么这组的个数不超过3。

我们知道，只要我们知道了该组（3个）有假币，并且知道轻重，只要称一次就可以找出来假币了。

从不平衡的两组中，比如轻的一组里分为3和1表示为“轻（3）”和“轻（1）”，同样重的一组也是分成3和1标示

为“重（3）”和“重（1）”。在从另外4个剩下的，也就是好的一组里取3个表示为“准（3）”。交叉组合为：

轻（3） + 重（1）？=======？轻（1） + 准（3）

来称一下。又会有3种情况：

(1)左面轻：这说明假币一定在第一次称的时候的轻的一组，因为“重（1）”也出现在现在轻的一边，我们已经知道，假

币是轻的。那么假币在轻（3）里面，根据推论1，再称一次就可以了。

(2)右面轻：这里有两种可能：

“重（1）”是假币，它是重的，或者“轻（1）”是假币，它是轻的。这两种情况，任意取这两个中的一个和一个真币称一下即可。

(3)平衡：假币在“重（3）”里面，而且是重的。根据推论也只要称一次即可。

2.2 同时扔一对骰子，当得知“两骰子面朝上点数之和为2”或“面朝上点数之和为8”或“骰子面朝上之和是3和4”时，

试问这三种情况分别获得多少信息量？

解：设“两骰子面朝上点数之和为2”为事件A ，则在可能出现的36种可能中，只能个骰子都为1，这一种结果。即：

P （A ）=1/36，I （A ）= 2log P （A ）=2log 36≈5.17 比特

设“面朝上点数之和为8”为事件B ，则有五种可能：2、6；6、2；4、4；3、5；5、3；即：

P （B ）= 5/36，I （B ）= 2log P （B ）= 2log 36/5≈2.85 比特

设“骰子面朝上之和是3和4”为事件C ，则有两种可能：3、4；4、3；即：

P （C ）= 2/36，I （C ）= 2log P （C ）= 2log 36/2≈4.17 比特

2.3 如果你在不知道今天是星期几的情况下问你的朋友“明天是星期几？”则答案中含有多少信息量？如果你在已知今天是

星期四的情况下提出同样的问题，则答案中你能获得多少信息量（假设已知星期一至星期日的排序）

解：（1）P ＝1/7 I ＝－Log 2P ＝－Log 27

（2）已知今天星期四，问明天是星期几？

即：明天是星期五是必然事件，不存在不确定性，I ＝0。

2.4地区的女孩中有25％是大学生，在女大学生中有75％是身高1.6米以上的，而女孩中身高1.6米以上的占半数一半。假

如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？

解：设A 为女大学生,B 为1.6米以上的女孩

则依题意有:1()4P A = , 1()2P B =, 3(|)4

P B A =

133()()(|)4416

P AB P A P B A ==?= ()3(|)()8

P AB P A B P B == 所以信息量为228log 3log 33

=- 2.5一副充分洗乱了的牌（含52张牌），试问

(1) 任一特定排列所给出的信息量是多少？

(2) 若从中出去抽取13张牌，所给出的点数都不相同时得到多少信息量？

解：（1）任一排列发生的概率为1/52!

I ＝log52!＝225.58 bit

（2）13张牌点数都不相同发生的概率为1/413

I ＝log413＝26 bit

2. 设离散无记忆信源??????)x (P X =??

????8/13a 4/12a 4/11a 8/30a 4321＝＝＝＝,其发出的消息为（202120130213001203210110321010021032 011223210），求：

（1）此消息的自信息是多少？

（2）在此消息中平均每个符号携带的信息量是多少？

解：(1) 因为离散信源是无记忆的，所以起发出的消息序列中各符号是无依赖且统计独立的。因此，此消息的自信息就

为该消息中各符号自信息之和。

I （01=a ）= ?log P （1a ） = ?log

3= 1.415 比特 I （12=a ）= ? log P （2a ）= ?log 4

1=2比特 I （23=a ）= ?log P （3a ）= ?log 4

1=2比特 I （34=a ）= ?log P （4a ）= ?log 81=3比特则此消息的自信息是：

I=14I （01=a ）+ 13I （12=a ）+12 I （23=a ）+ 6I （34=a ）

≈14?1.415+13?2+12?2+6?3

≈87.81比特

(2)此消息中平均每个符号携带的信息量是：

I 2=87.81÷45≈1.95比特/符号

2.7如有6行8列的棋型方格，若又二个质点A 和B ，分别以等概率落入任一方格内，他们的坐标分别为（XA,YA ）,(XB,YB),

但A.B 不能落入同一方格内。

（1）如仅有质点A ，求A 落入任一个格的平均自信息量是多少？

（2）若已知A 已落入，求B 落入的平均自信息量。

（3）若A,B 是可分辨的，求A,B 同都落入的平均自信息量。

解:(1) H(XA)=－)(log )(24

i i a P a P ∑==log24 (2) H(XB/XA)=－∑=q i 1)/(log )/()(1

i j q j i j i

a a P a a P a P ∑=

=－24

23log )/(log )/()(1124201=∑=a a P a a P a P j j j

(3) H(XAXB)=－∑=q i 1)(log )(1

j i q j j i

a a P a a P ∑= =)(log )(24121

j q j j a a P a a P ∑=-

=－24*23*241*231log(241*23

1) =log24*23=log23+log24

2.8 从大量统计资料知道，男性中红绿色盲的发病率为7％，女性发病率为0.5％，如果你问一位男同志：“你是否是红绿色

盲？”他的回答可能是“是”，可能是“否”，问这二个答案中各含多少信息量？平均每个回答中含有多少信息量？如果你问一位女同志，则答案中含有的平均自信息量是多少？

解：（1）若男同志回答“是”：I ＝log(1/7%)＝3.84 bit

回答“否”：I ＝log(1/93%)＝0.1 bit

平均信息量为：I ＝－7%log7%－93%log93%＝0.36 bit

（2）若问女同志，平均信息量为：I ＝－0.5%log0.5%－99.5%log99.5%＝0.045 bit

2.9设信源123456,,,,,()0.2,0.19,0.18,0.17,0.16,0.17X a a a a a a P x ????=????????

求这信源的熵，并解释为什么()log6H x >，不满足信源熵的极值性。

解：信源的熵为：

2222111()0.2log 50.19log 0.18log 0.17log 0.190.180.17

H x =+++ 22110.16log 0.17log 2.6570.160.17

++=bit/符号 ()log6H x > 是因为此信息的6

()1i i P a =>∑,不满足信息熵极值性的条件。

2.10设离散无记忆信源S 其符号集A{a1,a2,...,aq},知其相应的概率分布为（P1,P2,...,Pq ）。设另一离散无记忆信源S’，其符

号集为S 信源符号集的两倍，A’={ai}i=1,2,...,2q,并且各符号的概率分布满足：

Pi’=(1-ε)Pi (i=1,2,...,q)

Pi’=εPi-q (i=q+1,q+2,...,2q)

试写出信源S’信息熵与信源S 的信息熵的关系。

解：S ： a 1 a 2 …… a q

P ： p 1 p 2 …… p q

H （X ）＝－Σq i ＝1P i LogP i

Σq i ＝1P i ＝1

S`： a 1 a 2 ……a q a q ＋1……a 2q

P ： p ，1 p ，2……p ，q p ，q ＋1……p ，2q

H （X ）＝－Σ2q i ＝1P ，i LogP ，i

＝－〔Σq i ＝1P ，i LogP ，i ＋Σ2q i ＝q ＋1P ，i LogP ，i 〕

＝－{Σq i ＝1（1－ε）P i 〔Log （1－ε）＋LogP i 〕＋Σ2q i ＝q ＋1εP i －q （Log ε＋LogP i －q ）}

＝－{（1－ε）Σq i ＝1P i Log （1－ε）＋（1－ε）Σq i ＝1P i LogP i ＋εΣ2q i ＝q ＋1P i －q Log ε＋εΣ2q i ＝q ＋1P i －q LogP i －q }

＝－{（1－ε）Σq i ＝1P i LogP i ＋εΣ2q i ＝q ＋1P i －q LogP i －q ＋（1－ε）Log （1－ε）Σq i ＝1P i ＋εLog εΣ2q i ＝q ＋1P i －q }

＝－{（1－ε）Σq i ＝1P i LogP i ＋εΣq j ＝1P j LogP j ＋（1－ε）Log （1－ε）Σq i ＝1P i ＋εLog εΣq j ＝1P j }

＝－{Σq i ＝1P i LogP i ＋〔（1－ε）Log （1－ε）＋εLog ε〕Σq i ＝1P i }

＝H （X ）－〔（1－ε）Log （1－ε）＋εLog ε〕Σq i ＝1P i

＝H （X ）－（1－ε）Log （1－ε）－εLog ε

即：H ,（X ）＝H （X ）－（1－ε）Log （1－ε）－εLog ε

2.13 （1）为了使电视图象获得良好的清晰度和规定的适当的对比度，需要用5*105个象素和10个不同的亮度电平，求传

递此图象所需的信息率（比特/秒）。并设每秒要传送30帧图像，所有象素是独立变化，且所有亮度电平等概率出现。

（2）设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度，试证明传输这彩色系

统的信息率要比黑白系统的信息率约大2.5倍。

解：（1）因为每帧图象可以看成是离散的数字图象，每个像素的亮度是随机而且等概率出现的，则每个像素亮度信源

的概率空间为：??????)(i a P X =???? ??1.0,....,1.0,1.0,....,,1021a a a ∑=10

1)(i i

a P =1 每个像素亮度含有的信息量为：H(X)=log 210≈3.32比特/像素=1哈特/像素

现在，所有的像素是独立变化的，则每帧图象可以看成是离散亮度信源的无记忆N 次扩展信源。故，每帧图象含有的信息量是：

H(X N )=NH(X)=5?105log10=5?105哈特/帧≈1.66?106比特/帧

而每秒传送30帧图象，则传递这个图象所需要的信息率为

R 1=30?H(X N )=1. 5?106哈特/秒≈4.98?107比特/秒

（2）证明：每个像素具有10个不同的亮度和30个色彩度。由上面的计算得亮度等概率出现的情况下，每个像素含有的

信息量是：H(X)=log 210≈3.32比特/像素。每个像素的色彩度也是等概率出现的，则色彩度信源的概率空间为：

??????)(j b P X =???? ??30/1,....,30/1,30/1,....,,1021b b b ∑=30

1)(j j

b P =1 每个像素色彩度含有的信息量：

H(Y)=log 230≈4.91比特/像素

而亮度和色彩度是相互独立的，所以亮度和色彩度同时出现，每像素含有的信息量：

H(XY)=H(X)+H(Y)=log10+log30=log300≈8.23比特/像素

如果每帧所用的像素数和每秒传送的帧数都相同的情况下，传输这彩色系统的信息率与传输黑白系统的信息率之比就等于彩色系统每像素含有的信息量与黑白系统每像素含有的信息量之比：

)()(X H XY H =10

log 300log ≈2.5 证毕。

2.14每帧电视图像可以认为是由3×105个像素组成,所以像素均是独立变化,且每一像素又取128个不同的亮度电平,并设亮

度电平等概率出现.问每帧图像含有多少信息量?现有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像,试问广播员描述图像所广播的信息量是多少(假设汉字字汇是等概率分布,并彼此无依赖)?若要恰当地描述图像,广播员在口述中至少需要多少汉字?

解: ∵亮度电平等概率出现

∴每个像素所含的信息量为 H(X)=log 128=7 bit/像素.

而每个像素均是独立变化的

∴每帧电视图像所包含的信息量为 H(X )= 3×105H(X)= 2.1×106bit

∵假设汉字字汇是等概率分布

∴每个汉字出现的概率均为110000

从而每个汉字携带的信息量为log 10000=13.2877 bit/字

∵汉字间彼此无依赖, 广播员口述的1000个汉字所广播的信息量为

1000×13.2877=13287.7 bit 若要恰当地描述图像,广播员在口述中至少需要的汉字数为6

2.1101

3.2877

≈15841个汉字。 2.15 为了传输一个由字母A 、B 、C 、D 组成的符号集，把每个字母编码成两个二元码脉冲序列，以00代表A ，01代表B ，

10代表C ，11代表D 。每个二元脉冲宽度为5ms 。

（1）不同字母等概率出现时，计算传输的平均信息速率？

（2）若每个字母出现的概率分别为p A =1/5,p B =1/4,p C =1/4,p D =3/10，试计算传输的平均信息速率？

解：（1）由题可知，当不同字母等概率出现时，平均自信息量为：

H(x)=log4=2(比特/字母)

又因为每个二元脉冲宽度为5ms,故一个字母的脉冲宽度为10ms

则字母的传输速率为 100字母/秒

故传输的平均信息速率为：200 比特/秒

(2) 当每个字母分别以题中的概率出现时，平均自信息量为：

H(x)=－∑P(a i )logP(a i )

=(1/5)*log5+2*(1/4)*log4+(3/10)*log(10/3)=1.98(比特/字母)

同样字母的传输速率为 100个/秒

故传输的平均信息速率为：198 比特/秒

2.18 设有一个信源,它产生0,1序列的消息.它在任意时间而且不论以前发生过什么符号,均按P(0)=0.4,P(1)=0.6的概率发出符

号.

(1) 试问这个信源是否平稳的?

(2) 试计算H(X 2),H(X 3|X 1X 2)及lim ()N N

H X . (3) 试计算H(X 4)并写出X 4信源中可能有的所有符号.

解：(1) 因为信源发出符号的概率分布与时间平移无关,而且信源发出的序列之间也是彼此无依赖的.所以这个信源是平稳信源,是离散无记忆信源.

(2) ??????)x (P X ＝??

????6.04.010,计算H(X)≈0.971 bit/符号因为信源是平稳无记忆信源,所以H(X 2)=2H(X)≈1.942 bit/两个符号

H(X 3|X 1X 2)=H(X 3)=H(X)≈0.971 比特/符号

lim ()N N H X =121lim ()N N H X X X N =1lim ()N NH X N

=H(X)≈0.97 bit/符号 (3) H(X 4)=4H(X)≈3.884 bit/四个符号

可能的所有16个符号:0000 0001 0010 0011 0100 0101 0110 0111 1000 1001 1010 1011 1100 1101

1110 1111

2.19 有一个元无记忆信源，其发0的概率为p ，而p 约等于1，所以在发出的二元序列中经常出现的是那些一串为0的序列

（称为高概率序列）。对于这样的信源我们可以用另一新信源来代替，新信源中只包含这些高概率序列。这时新信源S n ={S 1 , S 2 , S 3 , ……, S n , S n+1},共有n+1个符号，它与高概率的二元序列的对应关系如下：

二元序列：001,01,0001,00000001,1 ,…,00…01(n 位),00…000(n 位)

新信源符号：S 3,S 2, S 4, S 8, S 1,…, S n , S n+1

(1) 求H （S n ）

(2) 当∞→n 时求信源的熵)(lim )(n n S H S H ∞

→= 解：依题意，因为是二元无记忆信源，在发出的二元序列中符号之间彼此是无依赖的，统计独立的，所以有：

()()∏==N

k ik iN i i a P a a a P 121............, =N i i i ...........,211, 2 由此可得新信源S n 为：

()???? ??=====???? ?

?-+n n n n i n P P P P P P S S S S S P S 11210000100011 证明满足完备性：

∑∑+==-+=1111)(n i n i n i i

P P P s P

111)1(12=+--=+++++=-n n n

n P P P P P P

P P P

)(11log )log()(log )()(11111P H P P P P P P P P

s P s P S H n n i n

n i i n i i i n --=--=-=∑∑=--+= n n n n n n P P H P H P

P H P P S H S H ∞→∞→∞→--=--==∴lim )()(11)(11lim )(lim )( 因为,10≤≤P 所以0lim =∞→n n P ，则：)(11)(P H P

S H -=

2.21有一信源，它在开始时以P(a)=0.6,P(b)=0.3,P(c)=0.1的概率发出X1。如果X1为a 时，则X2为a 、b 、c 的概率为1/3；

如果X1为b ，X2为a 、b 、c 的概率为1/3；如果X1为c ，X2为a 、b 的概率为1/2，为c 的概率为0，而且后面发出Xi 的概率只与Xi-1有关，又P(Xi|Xi-1)=P(X2|X1) i ≥3。是利用马尔可夫信源的图示法画出状态转移图，并计算信源熵H ∞。

解：由题可得，状态转移图为：

可见，状态E 1和E 4、E 7、E 10的功能是完全相同的，

状态E 2和E 5、E 8、E 11的功能是完全相同的，

状态E 3和E 6、E 12的功能是完全相同的。

其中E 0是过渡状态，而E 1、E 2、E 3组成一个不可约闭集，具有遍历性。故有如下的状态转移图A;由于此马尔可夫信源的状态必然会进入这个不可约闭集，所以计算信源熵时，可以不考虑过渡状态和过渡过程。由此，可得状态E 1、E 2、E 3的极限概率：

Q(E 1)=1/3Q(E 1)+1/3Q(E 2)+1/2Q(E 3)

Q(E 2)=1/3Q(E 1)+1/3Q(E 2)+1/2Q(E 3)

Q(E 3)=1/3Q(E 1)+1/3Q(E 2)

Q(E 1)+Q(E 2)+Q(E 3)=1

可得： Q(E 1)=Q(E 2)=3/8， Q(E 3)=1/4 a:0.6 b:0.3 c:0.1 b:1/2 a:1/2

c:1/3 a:1/3

c:1/3 a:1/3 b:1/3 b:1/3 a

b c

a b c a b

a E 0 E 1 E 2

E 3 E 4 E 5 E 6 E 7 E 8 E 9 E 10 E 11

图A

所以H ∞=H 2=Q(E 1)H(1/3,1/3,1/3)+Q(E 2)H(1/3,1/3,1/3)+Q(E 3)H(1/2,1/2)

=1.4388(比特/符号) 2.22 一阶马尔可夫信源的状态图如图2.8所示，信源X 的符号集为{0,1,2}并定义1p p =-。

(1) 求信源平稳后的概率分布(0),(1)和(2)P P P ；

(2) 求此信源的熵；

(3) 近似认为此信源为无记忆时，符号的概率分布等于平稳分布。求近似信源的熵()H X 并与H ∞进行比较；

(4) 对一阶马尔可夫信源p 取何值时H ∞取最大值，又当0和1p p ==时结果如何？

解：（1）{0,1,2}E A ==，由图可得()()1,2,3i i Q E P a i ==

,而{0,1,2}i i E E a A E A ∈∈==

于是得到/2/2/2/2/2/2p p p p p p p p p ?? ? ? ? ???

/2/2(0)(0)(0)(1)(1)/2/2(1)(2)(2)(2)/2

/2(0)(1)(2)1

T p p p Q Q Q Q P Q p p p Q Q Q Q p p p Q Q Q ?????????? ???????==? ???????? ??????? ???????????++=? 整理计算得1(0)(1)(2)3Q Q Q ===

即1(0)(1)(2)3

P P P === （2）据一阶马尔可夫信源的熵的表达式可得 c:1/3

c:1/3 b:1/2 b:1/3

c:0.1 b:0.3 a:0.6

c:1/3

b:1/2 a:1/3

E 2 E 3

E 0

E 1

a:1/3

21()(|)

(0)(|0)(1)(|1)(2)(|2)

111(,,)(,,)(,,)322322322log log log 2222log log 2

log log i i i H H Q E H X E P H X P H X P H X p p p p p p H p H p H p p p p p p p p p p p p p p p p

∞====++=++??=---???

?=--=--+∑ （3）信源近似为无记忆信源，符号的概率分布等于平稳分布，则此信源

0,1,2()1/3,1/3,1/3i X P a ????=???????

得到： 3

1()()log ()log 3 1.585比特/符号i i

i H X P a P a ==-=≈∑ 由此计算结果可知 ()H X H ∞≥

（4）求一阶马尔可夫信源H ∞的最大值。因为

(1)log(1)log H p p p p p ∞=----+

求其对p 的一阶导数

11log(1)log 1ln 2ln 2

log(1)log log 22(1)log

H p p p p p p p ∞?=-+--+?=--+-= 令0H p ∞?=?，得2(1)log 0p p -=，所以2(1)1p p -=，所以23

p =时，H ∞达到最大值；H ∞的最大值等log 3 1.585比特/符号≈。

当0p =时log log 02

p H p p p ∞=--= 当1p =时log log 1比特/符号2

p H p p p ∞=--= 由此可以看出上面()H X H ∞≥的结论时正确的。

2.23 一阶马尔可夫信源的状态图如图2.9所示，信源X 的符号集为{0,1,2}。

（1）求平稳后信源的概率分布。

（2）求信源的熵H ∞。

（3）求当p=0和p=1时信源的熵，并说明其理由。

p p

解：（1）由图可知一阶马尔可夫信源的状态空间E=A={0,1,2}.平稳后信源的概率分布就等于一阶马尔可夫信源状态的极

限分布，即Q(E i )＝P(a i ) i ＝1,2,3

E i ∈E,a i ∈A,而E ＝A

从状态图中分析可知，这三个状态都是正规常返态，所以此马尔可夫链具有各态历经性，平稳后状态的极限分布存在。可得状态一步转移矩阵

??????????=P P P P P P P 000

???????=++??????????=??????????1

)2()1()0()2()1()0()2()1()0(Q Q Q Q Q Q P Q Q Q T 得 Q(0)＝Q(1)＝Q(2)＝1/3

则可得 P(0)＝P(1)＝P(2)＝1/3

(2) 一阶马尔可夫信源的熵

H ∞＝H 2＝∑I=13Q(E i )H(X ∣E i ) ＝P(0)H(X ∣E)+P(1)H(X ∣1)+P(2)H(X ∣2)

＝1/3H(P 1,0,P)+1/3H(P,P 1,0)+1/3H(0,P,P 1)

＝-P 1㏒P 1-P ㏒P

＝H(P)

(3) 当P ＝0 ,H ∞＝0

当P ＝1 ,H ∞＝1

因为信息熵是表示信源的平均不确定性，题中当P=1或P=0时表明信源从某一状态出发转移到另一状态的情况是

一定发生或一定不发生，即是确定的事件。当P=1时，从0状态一定转移到2状态，2状态一定转移到1状态，1状态一定转移到0状态。所以不论从何状态起信源输出的序列一定是021021序列，完全确定的。当P=0时，0状态永远处于0状态，1状态永远处于1状态，2状态用于处于2状态。信源输出的符号序列也是确定的。所以当P=1或P=0时，信源输出什么符号不存在不确定性，完全是确定的，因此确定信源的信息熵等于零。

2.24 设有一个马尔可夫信源,它的状态集为{s 1,s 2,s 3},符号集为{a 1,a2,a3},及在某状态下发符号的概率为P(a k |s i )(i,k=1,2,3),如

下图所示.

(1) 求出图中马尔可夫信源的状态极限概率并找出符号的极限概率

(2) 计算信源处在某一状态下输出符号的条件熵H(s j )(j=1,2,3).

(3) 求出马尔可夫信源熵H ∞.

2 p S 1

S 2 S 3

a 1:?

a 2:?

a :?

a 3:? a 3:?

a 1:1

解: (1) 此信源的状态集不等于符号集,从状态转移图可知

P(a 1|s 1)=1/2, P(a 1|s 1)=0, P(a 1|s 3)=1

P(a 2|s 1)=1/4, P(a 2|s 2)=1/2, P(a 2|s 3)=0

P(a 3|s 1)=1/4, P(a 3|s 2)=1/2, P(a 3|s 3)=0

状态转移概率为P(s 2|s 1)= P(a 1|s 1)+ P(a 2|s 1)=3/4

P(s 3|s 1)= P(a 3|s 1)=1/4

P(s 1|s 1)=0

P(s 1|s 2)= 0

P(s 2|s 2)= P(a 2|s 2)=1/2

P(s 3|s 2)= P(a 3|s 2)=1/2

P(s 1|s 3)= P(a 1|s 3)=1

P(s 2|s 3)= P(a 2|s 3)=0

P(s 3|s 4)= P(a 3|s 3)=0

得状态转移矩阵: P=????

??????0012/12/104/14/30 从图可知此状态马尔可夫链是时齐的,状态数有限的和是不可约闭集,所以其具有各态历经性,平稳后状态的极限

概率分布存在.

得到如下方程组：

Q(s 1)= Q(s 3)

Q(s 2)=3/4 Q(s 1)+1/2 Q(s 2)

Q(s 3)=1/4 Q(s 1)+1/2 Q(s 2)

Q(s 1)+ Q(s 2)+ Q(s 3)=1 解得： Q(s 1)=2/7, Q(s 2)=2/7, Q(s 3)=3/7

符号的极限概率 P(a k ) =

i k i 1Q(s )P(a |s ) k=1,2,3i

所以P(a 1)=Q(s 1)P(a 1|s 1)+ Q(s 2)P(a 1|s 2)+ Q(s 3)P(a 1|s 3)=3/7,P(a 2)=2/7, P(a 3)=2/7

(2) 信源处于某一状态下的输出符号的条件熵

H(X|s j )= -

1(|)log (|)k j k j k P a s P a s j=1,2,3

H(X|s 1)= - P(a 1|s 1)log P(a 1|s 1) - P(a 2|s 1)log P(a 2|s 1) - P(a 3|s 1)log P(a 3|s 1) =-1/2log 21/2-1/4log 21/4-1/4log 21/4 =1.5 比特/符号

H(X|s 2)=H(0,1/2,1/2)=1比特/符号 H(X|s 2)=H(1,0,0)= 0比特/符号

（3）马尔可夫信源熵

H ∞=

1()(|)j j k Q s H X s

= Q(s 1)H(X|s 1)+ Q(s 2)H(X|s 2)+ Q(s 3)H(X|s 3)

=2/7×1.5+3/7×1+0

=6/7比特/符号

≈0.857比特/符号

2.25黑白气象传真图的消息只有黑色和白色两种，即信源X ＝{黑，白}，设黑色出现的概率为P （黑）＝0.3，白色的出现

概率为P （白）＝0.7。

（1）假设图上黑白消息出现前后没有关联，求熵H （X ）。

（2）假设消息前后有关联，其依赖关系为P （白|白）＝0.9，P （黑|白）＝0.1，P （白|黑）＝0.2，P （黑|黑）＝0.8，

求此一阶马尔可夫信源的熵H 2。

（3）分别求出上述两种信源的剩余度，并比较H （X ）和H 2的大小，并说明其物理意义。

解：（1）如果图上黑白消息出现没有关联，则熵为：

H（X）=H（0.7，0.3）=0.881bit/符号

（2）设白为w，黑为b 那么对应两种状态S w和S b 那么转移概率为

S w→S b0.1

S w→S w0.9

S b→S w0.2

S b→S b0.8

则Q（S w）=0.9 Q（S w）+0.2 Q（S b）

Q（S b）=0.8 Q（S b）+0.1 Q（S w）

Q（S b）+ Q（S w）=1

由以上三式可得出Q（S w）=2/3，Q（S b）=1/3

所以P（w）= Q（S w）*0.9+ Q（S b）*0.2=2/3

P（B）= Q（S w）*0.1+ Q（S b）*0.8=1/3

由以上可得到：

H2=H（0.9，0.1）*2/3+ H（0.8，0.2）*1/3 =0.554bit/符号

（3）最大熵H0=H（0.5，0.5）=1，则信源一的剩余度为1-0.881=0.118

信源二的剩余度为1-0.554=0.446

推出H（x）>H2

这说明消息前后有关联的熵小于信息前后没有关联的熵，即传送相同符号数后消息前后无关联所获得的信息量大于前后有关联的信息量。

答案~信息论与编码练习

1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。下面计算该二元对称信道能传输的最大的信息传输速率：信道传递矩阵为：信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为：试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声

信息论与编码试卷与答案

一、（11’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是 0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。（6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。（8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于），则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。（9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关三、（5'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分）四、（5'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

信息论与编码课后习题答案

1．有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为用费诺编码方法代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为用霍夫曼编码方法代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（√ ） 2. 线性码一定包含全零码。（√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。（√ ） 8. 信道容量是信道中能够传输的最小信息量。（×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方法叫做最佳译码。（√ ）

信息论与编码试卷及答案(多篇)

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？答：平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为。 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？答：信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。答：通信系统模型如下：

数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。 5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。 .答：香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则 6.解释无失真变长信源编码定理。 .答：只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求：

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解：！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量解：

信息论与编码理论课后习题答案高等教育出版社

信息论与编码理论习题解第二章-信息量和熵解: 平均每个符号长为:154 4.0312.032= ?+?秒每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号所以信息速率为444.34 15 9183.0=?比特/秒解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特；所以信息速率为600010006=?比特/秒解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以

比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得

信息论与编码期中试卷及答案

信息论与编码期中试题答案一、（10’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。二、（10?）判断题（1）信息就是一种消息。（? ）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ）（3）概率大的事件自信息量大。（? ）（4）互信息量可正、可负亦可为零。（? ）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（? ）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ）（8）信源变长编码的核心问题是寻找紧致码（或最佳码）。（? ）（9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分）故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）

信息论与编码课后答案

一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码期末试卷

上海大学2011～2012学年度冬季学期试卷（A卷）课程名:信息论与编码课程号: 07276033学分: 4 应试人声明：我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。应试人应试人学号应试人所在院系题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸成绩

信息论与编码试题集与答案

一填空题（本题20分，每小题2分） 1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。按照信息的地位，可以把信息分成客观信息和主观信息。人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。信息的可度量性是建立信息论的基础。统计度量是信息度量最常用的方法。熵是香农信息论最基本最重要的概念。事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是∞。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。 18、离散平稳有记忆信源的极限熵，。 19、对于n元m阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 log2（b-a）。

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度： 0H H ∞=ηη ζ-=1

意义：针对最大熵而言，无用信息在其中所占的比例。３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。４. ５.离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明：（1）信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。（2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的）则最多可编成m k 个码序列，对应m k 条消息定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n

信息论与编码(第二版)曹雪虹(最全版本)答案

《信息论与编码（第二版）》曹雪虹答案第二章 2.1一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。解：状态图如下状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =? ? ?=?? 2.2 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =0.8，(0|11)p =0.2， (1|00)p =0.2，(1|11)p =0.8，(0|01)p =0.5，(0|10)p =0.5，(1|01)p =0.5，(1|10)p =0.5。画出状态图，并计算各状态的稳态概率。解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==

信息论与编码第一章答案

第一章信息论与基础 1.1信息与消息的概念有何区别？信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。信宿：信息传送过程中的接受者，亦即接受消息的人和物。编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学模型。解：设该信源符号集合为X

信息论与编码理论习题答案全解

第二章信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速率。解：同步信息均相同，不含信息，因此每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息量。解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（） 2. 线性码一定包含全零码。（） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。（） 9. 信道容量是信道中能够传输的最小信息量。（×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方

信息理论与编码期末试卷A及答案

一、填空题（每空1分，共35分） 1、1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。信息论的基础理论是，它属于狭义信息论。 2、信号是的载体，消息是的载体。 3、某信源有五种符号}{,,,,a b c d e ，先验概率分别为5.0=a P ，25.0=b P ，125.0=c P ，0625.0==e d P P ，则符号“a ”的自信息量为 bit ，此信源的熵为 bit/符号。 4、某离散无记忆信源X ，其概率空间和重量空间分别为1 234 0.50.250.1250.125X x x x x P ????=??? ?????和1234 0.5122X x x x x w ???? =??????? ? ，则其信源熵和加权熵分别为和。 5、信源的剩余度主要来自两个方面，一是，二是。 6、平均互信息量与信息熵、联合熵的关系是。 7、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为信道。 8、马尔可夫信源需要满足两个条件：一、；二、。 9、若某信道矩阵为????? ????? ??01000 1 000001 100，则该信道的信道容量C=__________。 10、根据是否允许失真，信源编码可分为和。 11、信源编码的概率匹配原则是：概率大的信源符号用，概率小的信源符号用。（填短码或长码） 12、在现代通信系统中，信源编码主要用于解决信息传输中的性，信道编码主要用于解决信息传输中的性，保密密编码主要用于解决信息传输中的安全性。 13、差错控制的基本方式大致可以分为、和混合纠错。 14、某线性分组码的最小汉明距dmin=4，则该码最多能检测出个随机错，最多能纠正个随机错。 15、码字101111101、011111101、100111001之间的最小汉明距离为。 16、对于密码系统安全性的评价，通常分为和两种标准。 17、单密钥体制是指。 18、现代数据加密体制主要分为和两种体制。 19、评价密码体制安全性有不同的途径，包括无条件安全性、和。 20、时间戳根据产生方式的不同分为两类：即和。二、选择题（每小题1分，共10分） 1、下列不属于消息的是（）。 A. 文字 B. 信号 C. 图像 D. 语言 2、设有一个无记忆信源发出符号A 和B ，已知4341)(,)(==B p A p ，发出二重符号序列消息的信源，无记忆信源熵)(2X H 为（）。 A. 0.81bit/二重符号 B. 1.62bit/二重符号 C. 0.93 bit/二重符号 D . 1.86 bit/二重符号 3、同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（）。 A. －log36bit B. log36bit C. －log (11/36)bit D. log (11/36)bit 4、二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事件，x0: 发出一个0 、 x1: 发出一个1、 y0 : 收到一个0、 y1: 收到一个1 ，则已知收到的符号，被告知发出的符号能得到的信息量是（）。 A. H(X/Y) B. H(Y/X) C. H( X, Y) D. H(XY) 5、一个随即变量x 的概率密度函数P(x)= x /2，V 20≤≤x ，则信源的相对熵为（）。 A . 0.5bit B. 0.72bit C. 1bit D. 1.44bit 6、下面哪一项不属于熵的性质：（） A ．非负性 B ．完备性 C ．对称性 D ．确定性信息论与编码信息论与编码

信息论与编码理论第二章习题答案

I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解：出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=