第二章习题答案

第2章习题

2-3 同时掷两个正常的骰子，也就是各面呈现的概率都是l/6，求： (1) “3和5同时出现”事件的自信息量； (2)“两个1同时出现”事件的自信息量；

(3)两个点数的各种组合（无序对）的熵或平均信息量； (4) 两个点数之和(即 2，3，…，12构成的子集）的熵； (5)两个点数中至少有一个是1的自信息。 解：（1）P （3、5或5、3）＝P （3、5）+P （5、3）＝1/18

I ＝log2（18）＝ 4.1699bit 。

（2）P （1、1）＝l/36。I ＝log2（36）＝5.1699bit 。

（3）相同点出现时（11、22、33、44、55、66）有6种，概率1/36。 不同点出现时有15种，概率1/18。

H （i ，j ）＝6*1/36*log 2（36）+15*1/18*log 2（18）＝4.3366bit/事件。

（4）

H(i+j)=H(1/36 2/36 3/36 4/36 5/36 6/36 5/36 4/36 3/36 2/36 1/36)

=3.2744bit/事件。

（5）P （1、1or1、j or i 、1）＝1/36+5/36+5/36＝11/36。 I ＝log2（36/11）＝1.7105bit/

2-5 居住某地区的女孩中有25％是大学生，在女大学生中有75％身高为1.6m 以

上，而女孩中身高1.6m 以上的占总数一半。假如得知“身高1.6m 以上的某女孩是大学 生”的消息，问获得多少信息量？、

解：P （女大学生）＝1/4；P （身高>1.6m / 女大学生）=3/4；P （身高>1.6m ）＝1/2； P （女大学生 / 身高>1.6m ）＝P （身高>1.6m 、女大学生）/P （身高>1.6m ） ＝3/4*1/4*2＝3/8 I ＝log2（8/3）＝1.4150bit 。

2-7两个实验123{,,}X x x x =和123{,,}Y y y y =，联合概率()i j ij p x y p =为

11121321222331

32

337/241/2401/241/41/2401/247/24p p p p p p p p p ????

????=????????????

（1）如果有人告诉你X 和Y 的实验结果，你得到的平均信息量是多少？

（2）如果有人告诉你Y 的实验结果，你得到的平均信息量是多少？

（3）在已知Y 的实验结果的情况下，告诉你X 的实验结果，你得到的平均信息量是多少？ 解：

（1）

33

11

(,)(,)log (,)

2.301/i j i j i j H X Y p x y P x y bit symbol

===-=∑∑

（2）

3

1

()()log ()

1.5894/j j j H Y p y p y bit symbol

==-=∑

（3）

(|)(,)()

2.301 1.58940.7151/H X Y H X Y H Y bit symbol

=-=-=

2．11某一无记忆信源的符号集为{}0,1，已知01/4p =，13/4p =。

（1）求信源符号的平均信息量；

（2）由100个符号构成的序列，求某一特定序列（例如有m 个0和100m -个1）的

信息量的表达

（3）计算（2）中的序列熵。

解：（1）因为信源是无记忆信源，所以符号的平均熵

()符号/..,81bit 041504324

1

4341X =?+?=??? ??H =H

（2）某一特定序列（例如：m 个0和100-m 个1）出现的概率为

()

()()[]()[]

m

-100m m

-100m

10021L

43411P 0P X X X P X P ??

? ????? ??===,,,

所以，自信息量为

()()

()

bit m)(X P ,X ,,X X I -m

m L

3

log 1002004341log log 210010021--=????

????????? ????? ??-=-=

（3）序列的熵

()

()序列/81bit X 100X L =H =H

2-13 有一个马尔可夫信源，已知转移概率为

1121122221

(|),(|),(|)1,(|)033

P S S P S S P S S P S S ====。

试画出状态转移图，并求出信源熵。

解：（1）由题意可得状态转移图

一步转移矩阵???

????

?=01313

2

P 由∑=i

j ij i W p W 和1p j

ij =∑可得方程组

???

?

?

?

???

=+=+=1W W W 31W W W 32W 211

2211 解方程组得到各状态的稳态分布概率???==41W 4

3W 2

1//，

因为()()()001S X 3132S X 21=H =H ??

?

??H =H ,/,

,/，

所以信源的熵

()()()符号/..,/69bit 09204

3

3132H 43s X H s p X i

i i =?=??????=

=H ∑∞

2-14有一个一阶马尔可夫链,,,,,21 r X X X 各r X 取值于集},,,{21q a a a A =，已知

起始概率为4

1

,21)(3211=====p p x X P p ，其转移概率如下：

（1）求321X X X 的联合熵和平均符号熵； （2）求这个链的极限平均符号熵；

（3）求210H H H 、、和它们对应的冗余度。

解：（1） 方法一、

因为()()()()()()()23121213121321/x x P /x x P x P x /x x P /x x P x P x x x P ==

可以计算得到

()()()()()()()()()()()(),,,161/a a P /a a P a P a a a P 16

1

/a a P /a a P a P a a a P 8

1/a a P /a a P a P a a a P 131113111211121111111111=====

= ()()(),,,241a a a P 0a a a P 12

1

a a a P 321221121===

()()(),,,0a a a P 241a a a P 121a a a P 331231131===

()()(),

,,24

1a a a P 241a a a P 121

a a a P 312212112===()()(),,,0a a a P 0a a a P 0a a a P 3222221

22=== ()()(),

,,0a a a P 36

1

a a a P 18

1a a a P 332232132===

()()(),,,

241a a a P 24

1

a a a P 121

a a a P 313213113===

()()(),

,,361a a a P 0a a a P 181a a a P 323223123=== ()()(),

,,0a a a P 0a a a P 0a a a P 333233133=== 所以，

()

()()

三个符号3.967bit/log363612log181812log242416log121214log161612log881x x x logP x x x P X X X 321X X X 321321123

=??+?+??+??+??+?=

-=H ∑∑∑所以，平均符号熵()

()符号/1.322bit X X X 3

1

X 32133=H =H 方法二、

()

()()()三个符号

3.967bit/ 1.26209151/X X /X X X X X X 23121321=++=H +H +H =H ..

所以，平均符号熵()

()符号/1.322bit X X X 3

1

X 32133=H =

H （2）因为这个信源是一阶马尔可夫链，其状态极限概率分布就是信源达到平稳后的符号概率分布.

由题意得到一步转移矩阵?????

???????????=03132310

3

2414121P 由∑=i

j ij i W p W 和1p j

ij =∑可得方程组

??

??????

??

?

=+++=+=++=1

W W W W 31W 41W W 31W 41W W 32W 32W 21W 3212

133

123211

解方程组得到各状态的稳态分布概率???

??===143W 143W 74W 321///，

所以信源平稳后的概率分布为()()()??

?

??===14

3a P 143a P 74a P 321///

因为信源为一阶马尔可夫信源，所以信源的熵

()()

符号/.,,,,,,/251bit 103132H 14331032H 143414121H 74X X X 1

22=???

???+??????+??????=H =H =H ∞ （3）符号/.585bit 1log30==H

符号，，/.414bit 1143143741=???

???H =H

()符号/./251bit 1X X 122=H =H ()符号/./251bit 1X X 12=H =H ∞

对应的冗余度分别为

145.01540.010

10

2

20

1

10

00=H H -

==H H -==H H

-=γγγ 2-16 一阶马尔可夫信源的状态如图所示，信源X 的符号集为{0,1,2}。

（1）求平稳后的信源的概率分布； （2）求信源熵∞H ；

（3）求当0p =和1p =时信源的熵，并说明其理由。

解：（1）由状态转移图可得状态一步转移矩阵

??

??

?

?????=p p 00p p p 0p P 由状态转移图可知：该马尔可夫链具有遍历性，平稳后状态的极限分布存在。 由∑=i

j ij i W p W 和1p j

ij =∑可得方程组

??????

?=+++=+=+=1

W W W W p pW W pW W p W pW W p W 3213133

22211 解方程组得到各状态的稳态分布概率???

??===31W 31W 3

1W 321///，

所以信源平稳后的概率分布为()()()??

?

??===312p 311p 310p ///

（2）因为信源为一阶马尔可夫信源，所以信源的熵

()()()()()()()()()

[][][][][]p H p p H p p,0,H 3

1

0p p,H 31p 0p H 312X H 2p 1X H 1p 0X H 0p s X H s p X i

i i ==++=++==H ∑∞,,,,////

（3）当0p =或1p =时，信源的熵为0。因为此时它表明信源从某一状态出发转移到另一状态的情况是一定发生或一定不发生，即是确定的事件。

2-19设有一信源，它在开始时以()0.6,()0.3,()0.1P a P b P c ===的概率发出1X ，如果1

X 为a 时，则2X 为c b a ,,的概率为

31；如果1X 为b 时，则2X 为c b a ,,的概率为31

；如果1X 为c 时，则2X 为b a ,概率为2

1

，为c 的概率为0。而且后面发出i X 的概率只与

1-i X 有关。有121(|)(|),3i i P X X P X X i -=≥。试利用马尔可夫信源的图示法画出状

态转移图，并且计算信源熵∞H 。

解：（1）由题目可知，这个信源为一阶马尔可夫信源，状态空间就等于信源符号

在。

一步转移矩阵?????

???????

????=02121313131313131P 由∑=i

j ij i W p W 和1p j

ij =∑可得方程组

???????????

=+++=++=++=

1W W W W 31W 31W W 2

1W 31W 31W W 21

W 31W 31W 321

2133

2123211

解方程组得到各状态的稳态分布概率???

??===41W 83W 83W 3

21///，

因为信源为一阶马尔可夫信源，所以信源的熵

()()()()()()()()()

符号/.,,,,,////439bit 12121H 41313131H 83313131H 83c X H c p b X H b p a X H a p s X H s p X i

i i =???

???+??????+??????=++==H ∑∞

（注：可编辑下载，若有不当之处，请指正，谢谢!）