信息论基础各章参考答案
各章参考答案
2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特
2．2． 1.42比特
2．3． （1）225.6比特 ；（2）13.2比特
2．4． （1）24.07比特； （2）31.02比特
2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。
（2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时,
第三步用一个真币与其中一个称重比较即可。
对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴
别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息.
2．6． （1）215
log ＝15比特； （2） 1比特；（3）15个问题
2． 7. 证明： （略） 2．8． 证明： （略）
2．9．
31)(11=
b a p ，121
)(21=b a p ，
121
)(31=
b a p ，
61)()(1312=
=b a b a p p ，
241)()()()(33233222=
===b a b a b a b a p p p p
。
2．10． 证明： （略）
2．11. 证明： （略）
2．12. 证明： （略） 2. 13. （１）1)()(==Y H X H ，544.0)(=Z H ，406.1)(=XZ H ，
406.1)(=YZ H ，812.1)(=XYZ H
（２）810.0)/()/(==X Y H Y X H ，862.0)/(=Z X H ，
405.0)/()/(==Y Z H X Z H ，862.0)/(=Z Y H ，
405.0)/()/(==XZ Y H YZ X H ，0)/(=XY Z H
（３）188.0);(=Y X I ，138.0);(=Z X I ，138.0);(=Z Y I ，
457.0)/;(=Z Y X I
，406.0)/;()/;(==Y Z X I X Z Y I
（单位均为比特／符号）
2．14. （１）
41)110()101()011()000(=
===p p p p XYZ XYZ XYZ XYZ ，
（２）
21
)111()000(=
=p p XYZ XYZ
，
（３）
41
)111()110()001()000(=
===p p p p XYZ XYZ XYZ XYZ 2．15． （１）5.1)(=X H ，1)(=Y H ，1)(=Z H ，2)(=YZ H ； （２）5.0);(=Y X I ；1);(=Y X I ； （３）5.0)/;(=Z Y X I ，5.1);(=YZ X I （单位均为比特／符号）
2．16．（１）43
，（２）09.0);(=Y X I 比特／符号
，
（３）1613
，0);(=Y X I ；
（４）第（３）种情况天气预报准确率高，原来的天气预报有意义。 2．17.
（１） 提示：方差为０，表明随机变量是常数，设αlog );(=Y X I
；
（２）
αlog );(=Y X I
；1=α
表明y x ,独立；
（３） 对于（ａ）有：
21
)(1=
a p
，
21)()(32=
+a a p p
，2log );(=Y X I ；
对于（ｂ）有：
31)()()(321=
==a a a p p p ，
23
log
);(=Y X I 。
2．18. 证明： （略）
2．19. 证明： （略）
2．20．证明： （略）
3. 1 证明： （略）
3. 2 （１）０.811比特/符号 ，
（２）41.48＋1.58m 比特（m 为０的个数） （３）81.1比特／信源符号
3. 3 证明： （略） 3. 4 证明： （略）
3. 5 （１）
)
(1)
1(]log )1log()1[(1)1()(p H p p p p p p H p p S n
n n --=+-----=
（２）p p H S H -=
1)()(
3.6 证明： （略）
3. 7 （１）
??
????????=858383852
P ，
??
???
?????=1691671671693
P （２）
??????+--+=----2222111121n n n
n n
P , []
221121n
n n p ---+=
3. 8
)]41,41,21(4316)41,41,21(4312)31,31,31(4315)[1()4316,4312,4315(
H H H n H ++-+
3. 9 （1）]11,1[βαα
βαβ+--+-，]31,31,61,61[，1
,,2,1,0,1-==r i r q i
（2）)(11)(1ββαααβαβH H +--++-，2log 31，q q i
r i i log 10∑-=-
3. 10 （1）967.3)(321=X X X H 比特/符号 ，
322.1)(3=X H 比特/符号
（2）251.1)(=∞X H 比特/符号
（3）585.10=H 比特/符号 ，414.11=H 比特/符号 ， 251.12=H 比特/符号
211.0=r
3. 11 （1）]
31
,31,31[，
（2）)(2log )(p H p X H +=
∞，
（3）当
32=
p 时 ，)(X H ∞达到最大值为3log ， 当0=p 时 ，熵为0 ，
当
1=p 时 ，熵为2log ；
（4）3log
3. 12 （1）
)
72,73,72(),,(321=πππ， 73)(1=a p , 72
)()(32=
=a a p p ；
（2）5.1)/(1=S U H 比特/符号 ，1)/(2=S U H 比特/符号 ，
0)/(3=S U H ；
（3）
76)(=
∞U H 比特/信源符号
3. 13 （1）有； （2）
=→
)(n p ]
0,31,31,31,0[]21
,0,0,0,21[ 122+==k n k n
（3）
3log 2502log 251+
3. 14 4
4.1)(=X H 比特/符号
3. 15 81log
3. 16 （1）周期：3 ；
（2）]14429,14419,61,365,361,91,91,91[；
（3）0．9477比特/符号 3. 17 证明：（略）
3. 18 过渡状态：C ； 遍历状态：A,B
4.1（1）811.0)(=X H 比特/符号 ，7
5.0)/(=Y X
H 比特/符号 ，
919.0)/(=X Y H 比特/符号 ，061.0);(=Y X I 比特/符号；
（2）082.0=C 比特/符号 ，
21)1()0(=
=p p 。
4.2 0.0817比特/符号
4.3（1）])1(1log[)1(εεε
ε--+=C ；
εεεεεεε)1()1(0)1(11---+-=p ， εεεε
εε
ε)1()1(1)1(1---+=p
（2）?????
?--)1(22
201
εεε； （3）)
1log(2)1()1(2
2
]
[εε---+=H C
（4）?????
?--
-))1(1(101εεn n ，)1log(2)1()1(]
[εε---+=n H C
4.4 （1）0488.0=C 比特/符号 ；
（2）??????????16111658583 ；
（3）0.0032比特/符号 ，
496.00=p ，504.01=p
4.5 （1）)(2log εH -；
（2）2log 43
；
（3）
)43,41,4)1(3()41,83,83(ε
ε--H H 时，输入等概率。 4.6 )1log(
2)
(1εH C -+= ，)2
1()(11
0εH p -+-=，
)1(22)(1)(21εεH H p p --+==
4.7 ][22log )
,(),(2εδδεf f C +=比特/符号 ，其中δεεδδεδε----=1)
()1()(),(H H f
4.8证明：可求得n 各级联信道转移概率矩阵为：
?
?
??????+--+=----)21()21()21()21(111121p p p p P n n n
n n
，
容量
)
2
(
1)
21(1p n
H C ---= ，
当∞→n 时，0
)21
(1=-=H C
4.9（１）证明：（略）
（２）)(log Z H K C -=
，输入等概率．
4.10（1）准对称信道：
)
log()()1log()1(212log )21(εεεεε
ε--+----+--=p p p p C
（2）准对称：
)
log()()1log()1(211
log )21(2log εεεεεε--+----+--+=p p p p C
5.1 （1）18≥l
；
（2）0.00167
5.2 （1）188410=N ；
（2）2216222
1433899.0<
183
35613==C C C N 5.4 设长度为j 的码序列个数为N j ，则
N N N j j j 122--+= ，
解得：2)1(3231j j j N +=-， ,2,1=j ;
5.5 (1)
469.0)(=S H 比特/符号 ，531.0=r
（2）1=-
l ，
（3）
645.02
2=-
L ，
533.03
3=-
L ，
493.04
4=-L ，
469
.0=∞
-
∞L ；
（4）531.0,469.0:1=N ，273.0,727.0:2=N ，
120.0,880.0:3=N ，049.0,951.0:4=N ， 0,1:∞=N
5.6 85.1=-
l
，9542.0=η，51.1=R 比特/符号
5.7 100=η%
5.8 （1）7853.0)(=S H 比特/符号 ； （2）72.2=-
l ，959.0=η； （3）81.1=-
l
，915.0=η；
（4）104
02.2?=N
5.9 24种最优码，8种Huffman 码。
5.10 （1）2log 23
，2
log ，0；
（2）S 1：
0:1a ，10:2a ，11:31a ；
S 2： 0:2a ，1:3a ； S 3： 不编码
（3）
76
)(=
=∞-
X l H
5.11 （1）2048547
1024
273<
5．12 （略）
5．13 2，3，3，1，3，4，5，10，11，6，10 5．14 （略）
5．15 3276895
6.1 1.6Kbps
6.2 （1）200bps ; （2）198.56bps 6.3 （1）
0)0(==y G ,
1)1(==y G , p -<1ω或0)1(==y G ，p ->1ω，
ωp P E 2= ，p -<1ω或ωωp p P E 21+--=，p ->1ω；
（2）0)0(==y G ，1)1(==y G ，ωp P E 2=；
（3）当p -<1ω时，两准则同
6.4
a b G 11)(= ，a b G 12)(=，a b G 33)(=，
2411=
P E
6.5 （1）0.5比特/符号
（2对每个传送消息，译码后结果是唯一的，所以译码差错率为0
6.6（1）
25log
=C ；
（2）用1个符号传送2个消息，消息M 1编码为1，消息M 2编码为3 ； （3） 5个消息M i ，5,4,3,2,1=i
编为：11:1M ，22:2M ，33:3M ，44:4M ，55:5M ，
25.0=P E
（4）采用编码：12:1M ，24:2M ，31:3M ，43:4M ，55:5M 各接收序列不相交，唯一，此时可译，所以译码差错为0 。 6.7 （1）3min
=d ；（2）
52=
R ；
（3）1001010000→
1110001100→
0011100100→ 或 11100
（4）最多能纠1个错
6.8 译码原则01010000→ ，01100001→，10010010→，
10100100→ ，00001000→，00110011→， 11001100→ ，11100111→ ，11111011→，
11111101→
6.9 （1）0.26比特 ；（2）第2枚 ；（3）
2011=
P e ；（4）167
=P E
6.10（1）p -11
；
（2）已给定
2,0,1m
M p C R =>-=<ε， 采用如下编码方式：将信息编成长为m 的二元序列，每个二元符号最多发送K 次，若
其中有一个符号连续接收错误，则判定码字传输错误。设， i 为消息序号，则
)
1()1(log 211)
(p p P K K
M
m
i E
---=-= ，根据 或令
ε
<--)1(log 21p K M 来选择K 。通过可得平均传输每个二元符号需要的传送符号数
为
p
p
K
--11，所以信道编码的平均码为
M
p
n p K
log 211--=，所以
222
)1(1)1(nR p n p n p
K M >>=---。满足设计要求。
6.11 （1）0)0(=G ， 1)1(=G ，=)2(G ,1,
2121<
≥ωω ， =P E ,,
)1(p p ωω-
2121<
≥ωω ； （2）0)0(=G ，1)1(=G ，0)2(=G 或 1
p P E ω= 或)1(p ω-；
（3）设重复码，→
→1,0，长度为n ，接收当接收序列中含1个“0”，或“1”就判为“0”
或“1”，p P n
E
=，当∞→n 时，
0→P E 。
6.12 证明：（略）
6.13（1）（ⅰ）
p p H Z H -=
1)()(，其中 )1log ()1(log )(p p p p p H ----= ； （ⅱ）p Z E -=
11)(； （ⅲ）p R -
=1比特/符号
（2）（ⅰ）
2
2
1
p
P E =
，
（ⅱ）
3
2
2
p
P E =
6.14 （1）0)0(=G ，1)1(=G ； （2）)1)(1(p P E
--=ω；
（3）0)000(=G ，1)000(=≠-
v G ，
31
=
R ，)1(3
)1(p P E
--=ω ； （4）与“择多译码”方式不同 ；
（5）
n R 1
=
，)1()1(p P n
E --=ω ，
当∞→n 时，P E R ,都趋于0 。
6.15 证明： )
1(121
2112p p C P i
t i
t t i i
t E -∑-+++=+= ，其中第一次最大，所以
)(!)!1()!12()1()1(1a p p P t t
t E
t t t t =+++<-+ ，
可证明级数a t 收敛，所以当∞→t
时 ，0→a t 。
6.16（1）不能 ； （2）10.87秒 。
6.17 设信源模型为120.80.2X a a P ????=????
???
?，每秒发出2. 5个信源符号，将此信源的输出通过某一个二元无噪信道传输，且每秒只传送两个符号；
解：（1）不能 ；
（2）28.172.05.2)(5.2<=?=X H ，采用适当编码可以通过信道无失真传输 ；
（3）采用二次扩展Huffman 编码 ：0:11a a ，10:21a a ，110:12a a ，
111:22a a ，平均码长78.0=-
l ，295.178.05.2<=? ，满足传输要求。
7.1 （1）
λe
log
；
（2）λ
e
2log
。
7.2 e log 。
7.3 )log ()(12a a X h -= ，)log ()(12b b Y h -=，
)])(log [()(1212b b a a XY h --= ，0);(=Y X I 。
7.4
e
r
Y h X h πlog
)()(== ，
)log()(2
r XY h π= ，
e
Y X I 2
log
);(π
= 。
7.5
e
a
X h πlog
)(= ，
2
log
)(b
Y h π= ，
)log ()(ab XY h π= ，
e
Y X I 2
log
);(π
= 。
7.6 证明：（略）
7.7
e X h log )3()(γ+= ，
2log
)(e
Y h = ，（后面两个没有答案）
7.8 )]
(2log[21)(2
2σσπy x e Z h += 。
7.9 e X h log )(= ，e Y h log 2)(= ，e XY h log )2()(+=γ，
e Y X I log )1();(γ-= ，γ
：欧拉常数
7.10
σσσσy x y
x V U I 2log
);(2
2
+= 。
7.11 r Y X I 2
1log );(--= 。
7.12 证明：（略）
7.13
e x x
f )
(2)(21212
)
(21
)(2
12αααααπ---
-=
7.14 x e p x p p r x f 1
11)(1)(--
=αα 满足α20
)ln()(=?∞x x f ，
e p p p r p X h log ])1([)(log log )(21αα--++= 。
7.15 （1）)
2log(21
)(e X h π= ； （2）)
3log(21
)(e X h π= 。
8.1 （1）?∞-----++++-=0)
11()11()]1log()1log([12log dy b a C e e e e b a y b y b a y a y ，
01→?→c a b ，2log 0→?→c a b ；
（2）
b a b
P E +=
。 8.2 （1）证明略 ；
（2）
α
π
2log
=C 。
8.3 （略） 8.4 （略）
8.5 证明：（略）
8.6 （1）
3101=
E ，37
2=E ，
313
=E ，04=E ， 418.0=C 比特/自由度
（2）4291=
E ，4252=E ，4173=E ，41
4
=E ，
775.0=C 比特/自由度
8.7 （略）．
8.8 （1）30.9kbps ; (2)1.44Mbps ; (3)140Mbps . 8.9（1）bps 10
8
44.1? ；
（2）kbps C 45=，Hz
bps B R
/8= ，dB N E b 150≥ ；
（3）dB SNR
36.4-= ，dB p 36.34-=? 。
8.10 （1）
bps 104998.1? ； （2）9710Hz 。
8.11 （略） ． 8.12 （略） 8.13
解：（1）
bps S ST T C N N )2501(250)21log(21020log +=+=
；
（2）
bps S
C N )5001(5000
2log +
=
8.14 （略）
8.15 证明：（略） 8.16 证明：（略） 8.17 解：（略）
9．1 解：0min
=D ，
43max =
D ，
)
(4
log
)(3
D H D R D
-=
9．2 证明：（略）
9．3 解：1min =D ，
34max =
D ，
)]
2)
1(3(2[log 32)(--=D H D R
9．4 解：0min
=D ，ωα=D max ，
)
()()(α
ωD
H H D R -= 。
9．5 解：0min =D ，1max =D 。
9.6 解：
=)(D R ),(2log )8.0(5log ,4.0log 8.0)2.0log()2.0()1log()1(D H D D D D D -+----+-- 4.06
.04.0≤≤ 9．7 证明：（略） 9．8 解：（略） 9．9 解：（略） 9．10 2log )1()(D D R -= ； 9．11（略） 9．12 证明：（略） 9．13 证明：0min =D ，3max =D ； 当D D min = 时，使用输出符号 0，1，2，3 ； 当D D max =时，使用输出符号6 ， 2log 2log 2)(D D R -= )10(≤≤D ； 2log 23 2log 2)(+- =D D R )31(≤≤D 。 9．14 解：)log ()(D D R α-= ， ) 1 0(α ≤ ≤D 。 9．15 证明：（略）9．16 解：（略）9．17 解：（略）9．18 解：（略 各章参考答案 2．1． （1）4.17比特 ；（2）5.17比特 ； （3）1.17比特 ；（4）3.17比特 2．2． 1.42比特 2．3． （1）225.6比特 ；（2）13.2比特 2．4． （1）24.07比特； （2）31.02比特 2．5． （1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重 类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴 别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6． （1）215 log ＝15比特； （2） 1比特；（3）15个问题 2． 7. 证明： （略） 2．8． 证明： （略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10． 证明： （略） 2．11. 证明： （略） 《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11P 244?? ?? ? =?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。 （2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 第三章习题答案 3.1 解： 3.2 解： (1) ?? ???≠==? ?????=?? ?????≤??? ??-??? ??-???? ???????????≤---+-=? ?????≤+∞04m o d 004m o d )43()41(4104141l o g 43l o g 043l o g 4341l o g 4143l o g )(41l o g ),(100)()(log 4344000000N N C N n P N n P N n N n P n N n U H N U P P N N N 则上式变为的个数为，则出现的个数为设该序列中出现时 δδ (2) ?? ???≤-=∑-k N k k C k k N k k N 没有满足上述条件的 满足概率为同样可推得典型序列的 时 03log 20141)43()41(05.0δ 3.3 0.469 bit/sample 3.4 1) 不妨设)20,0(2j j k j k M <≤≥+=，可进行如下编码：首先作一深度为j i K i i i N N N N N P P U H U H X X X P U H X X X P N log )())(exp(),(lim )(),(log 1lim 12121∑=∞→∞→-=-=∴-=其中 的二叉满树，并在j 2个叶子节点中取k 个节点，以这k 个节点为根节点，生成k 个深度为1的子树，于是得到了一个有 M k k j =-+22个叶子的二叉树，对此二叉树的叶子按Halfman 方法进行编码，即得到最优的二元即时码。 2）M M k j k j M k j M I 2log 212)1(1=+=??+?+?= 当且仅当k=0，即j M 2=时，M I 2log = 3.5 解： 不妨设i u ( i =…-2,-1,0,1,2, …) 取自字母表{1a ，2a …n a }，设一阶转移概率为 ????????????nn n n n n P P P P P P P P P 2 12222111211，所以在当前码字j u 进行编码时，由k j a u =-1，对j u 可能的取值，依概率分布(kn k P P 1) 进行Halfman 编码，即是最佳压缩方案。 3.6 0.801 bit/sample 3.7 1) 7 6 bit/sample 2) P(1)= 72 P(2)=73 P(3)=72 如按无记忆信源进行编码，则根据信源所处的的1，2，3三个状态对应编码成00，1，01。 平均码长为：72×2+73×1+72×2=7 11 bit/sample 如果按马尔可夫信源进行编码： 状态1时：a →0, b →10, c →11 状态2时：a →0, b →1 状态3时：无需发任何码字 ∴平均码长： 76072)121121(73)241241121(72=?+?+??+?+?+?? bit/sample 3.8 x 22j I -+= 3.9 1) H(X) = －（plog p+qlog q ） bit/sample H(Y)= －（plog p+qlog q ） bit/sample 《信息论基础》试卷第1页 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此 时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X) 信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。 重庆邮电大学2007/2008学年2学期 《信息论基础》试卷（期末）（A卷）（半开卷） 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则 每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其 熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 《信息论基础》参考答案 一、填空题（共15分，每空1分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或( )22 2x f x σ-时，信源具有最大熵，其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。 （2）()() 1222 H X X H X =≥() ()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 《信息论基础》答案 一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。 若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最 大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高 斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不 等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号 的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长 就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵 * p x 0.5 4 h x 2 p x log p x dx 1bit自由度 四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。 试计算： （1）信源X中事件x的自信息量；（3分） （2）信源X的信息熵；（3分） （3）共熵H XY ; （ 3 分） （4）噪声熵H Y X ；（3分） （5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所 （3 分） 3-1 设有一离散无记忆信源，其概率空间为12()0.60.4X x x P x ???? =? ??? ???? ，信源发出符号通过一干扰信道，接收符号为12{,}Y y y =，信道传递矩阵为516 61344P ???? =? ?????? ? ，求： （1）信源X 中事件1x 和2x 分别含有的自信息量； （2）收到消息j y （j ＝1，2）后，获得的关于i x （i ＝1，2）的信息量； （3）信源X 和信宿Y 的信息熵； （4）信道疑义度(/)H X Y 和噪声熵(/)H Y X ； （5）接收到消息Y 后获得的平均互信息量(;)I X Y 。 解：（1）12()0.737,() 1.322I x bit I x bit == （2）11(;)0.474I x y bit =，12(;) 1.263I x y bit =-，21(;) 1.263I x y bit =-， 22(;)0.907I x y bit = （3）()(0.6,0.4)0.971/H X H bit symbol == ()(0.6,0.4)0.971/H Y H bit symbol == （4）()(0.5,0.1,0.1,0.3) 1.685/H XY H bit symbol == (/) 1.6850.9710.714/H X Y bit symbol =-= (/)0.714/H Y X bit symbol = （5）(;)0.9710.7140.257/I X Y bit symbol =-= 3-2 设有扰离散信道的输入端是以等概率出现的A 、B 、C 、D 四个字母。该信道的正 确传输概率为0.5，错误传输概率平均分布在其他三个字母上。验证在该信道上每个字母传输的平均信息量为0.21比特。 证明：信道传输矩阵为： 信息论基础1答案 《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为 123x x x X 111P 2 44?? ?? ?=?? ??? ?? ， 其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ∞ ；其能在每个自由度熵的最大熵是log （b-a ） bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为 16w，其概率密度函数是高斯分布时，差熵的 最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。 制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。 （2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 信息论基础理论与应用考试题及答案 信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑， 则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约 为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1， 即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位 二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概 率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验 概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷 积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。 第二章习题参考答案 2.2证明: l(X;Y|Z) H(X|Z) H(X|YZ) H (XZ) H (Z) H (XYZ) H(YZ) H(X) H(Z |X) H(Z) H(XY) H (Z | XY) H (Y) H(Z|Y) [H(X) H(Y) H(XY)] H(Z|X) H(Z) H (Z | XY) H(Z |Y) I(X;Y) H(Z|X) H(Z) H (Z | XY) H(Z | Y) 0 H(Z) H(Z) H (Z | XY) H(Z) H(Z) H (Z | XY) 1 H (Z) H (Z | XY),即 H(Z) 1 H (Z | XY) 又 H(Z) 1,H(Z |XY) 0,故 H(Z) 1,H (Z | XY) 0 同理，可推出H(X) 1;H(Y) 1; H (XYZ) H(XY) H (Z | XY) H(X) H (Y) H (Z | XY) 1 1 0 2 2.3 1) H(X)= 0.918 bit , H(Y) = 0.918 bit 2) H(X|Y) 2 = bit H(Y|X)= 2 -bit , H(X|Z)= 3 2 — bit 3 3) I(X;Y): =0.251 bit , H(XYZ)= =1.585 bit 2.4证明：（1）根据熵的可加性，可直接得到 ,a k 1), H(Y) log(k 1),故原式得证 2.5考虑如下系统: 又 l(X;Y|Z) = H(X|Z) — H(X|YZ) = H(X|Z) = 1 bit 1 不妨设 P(Z=0) = P(Z=1)= 2 设 P(X=0,Y=0|Z=0) = p P(X=1,Y=1|Z=0) = 1 — p 1 ~[ Plogp + (1 — p)log (1 — p)] -[qlogq + (1 — q)log(1 — q)] =11 满足上式的p 、q 可取：p = ; q = 2.1 In 2 x nat IOg 2 bi t P(X=0,Y=1|Z=1) = q P(X=1,Y=0|Z=1) = 1 — q ⑵ Y 的值取自（31,32, 假设输入X 、Y 是相互独立 的，则满足 I(X;Y) = 0 则 H(X|Z)= 信息论基础理论与应用考试题 一、填空题（每题2分，共20分） 1.信息论研究的ri的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）、（有效性）、保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500X600=3X 1O,个格点，按每点有10个不同的灰度等级考虑, 则可组成IO’加'个不同的画面。按等概计算，平均每个画面可提供的信息量约为（I（）6bit/画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q二32。若r=2, N=l, 即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积也。 （考点：纠错码的分类） 7.码C=（（0, 0, 0, 0）, （0, 1, 0, 1）, （0, 1, 1, 0）, （0, 0, 1, 1）｝是（Gb 2）?线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 MB | q （H（X） = E log—— =-￡p（%）logP（q））。 P（q）/=i ■ ■ ■ （考点：平均信息量的定义） 9.对于一个（n,k）分组码，其最小距离为d,那么，若能纠正t个随机错误，同时能检测e （eNt）个随机错误，则要求（dNt+e+1 ）。 （考点：线性分组码的纠检错能力概念） 10.和离散信道一?样，对于固定的连续信道和波形信道都有一?个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量） 二、判断题（每题2分，共10分） 1.信源剩余度的大小能很好地反映离散信源输出的符号序列中符号之间依赖关系的强弱，剩余度越大，表示信源的实际嫡越小。（对）（考点：信源剩余度的基本概念） 2.信道的噪声是有色噪声，称此信道为有色噪声信道，一?般有色噪声信道都是无 记忆信道。（错）（考点：有色噪声信道的概念） 3.若一组码中所有码字都不相同，即所有信源符号映射到不同的码符号序列，则 称此码为非奇异码。（对）（考点：非奇异码的基本概念） 4.在一个二元信道的n次无记忆扩展信道中，输入端有2。个符号序列可以作为消息。（对） 5.卷积码的纠错能力随着约束长度的增加而增大，-?般情况下卷积码的纠错能力 劣于分组码。（错）（考点：卷积码的纠错能力） 三、名词解释（每题3分，共12分） 1 .信源编码 《信息论基础》试卷答案 一、填空题（共25分，每空1分） 1、连续信源的绝对熵为 无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指 信源先后发生的符号彼此统计独立 。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可以降低，从而提高 有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用 信源编码 ，为了提高系统的可靠性可以采用 信道编码 。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号 。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为 高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指 任一码字都不是其它码字的前缀 。 9、无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元 。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号 。 11、信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ，二是 信源符号概率分布的不均匀性 。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同 的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X) 一、（11’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信 源的信源熵H（X） 等于2.5，对信源进 行等长的无失真二 进制编码，则编码 长度至少为 3 。 （6）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是香农编码。（7）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出_2_______个码元错误，最多能纠正___1__个码元错误。 （8）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R__小于___C（大于、小于或者等于）， 则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。 （9）平均错误概率不仅与信道本身的统计特性有关，还与___译码规则____________和___编码方法___有关 二、（9）判断题 （1）信息就是一种消息。（） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（） （3）概率大的事件自信息量大。（） （4）互信息量可正、可负亦可为零。（） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （） （6） 对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。 （ ） （7） 非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。 （ ） （8） 信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。 （ ） （9）信息率失真函数R(D)是关于平均失真度D 的上凸函数. ( ) 三、（5）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的， 而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A 表示“大学生”这一事件，B 表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （2分） 故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （2分） I(A|B)=-log0.375=1.42bit （1分） 四、（5）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明： ()()() () ()()()() ()() Y X H X H y x p y x p x p y x p x p y x p y x p Y X I X X Y j i j i Y i j i X Y i j i j i -=??? ???---==∑∑∑∑∑∑log log log ; （2分） 同理 ()()() X Y H Y H Y X I -=; （1分） 则 《信息论基础》答案 一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为1 23x x x X 1 11 P 244?? ?? ?=?? ????? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log （b-a ）bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一 信源X ，其平均功率受限为16w ，其概率密度函数是高斯分布时，差熵的最大值为 1lo g 32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 8、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)。 （2）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 信息论基础理论与应用测验题及答案 ————————————————————————————————作者：————————————————————————————————日期： 信息论基础理论与应用考试题 一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的 （可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。 （考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。 （考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为 （加性信道）和 （乘性信道）。 （考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用 （5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。 （考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。 （考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即 （11()log ()log ()()q i i i i H X E P a P a P a =?? ==-??? ?∑） 。 信息论基础试题及答案 填空题（每题2分） 1、信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2、电视屏上约有500×600=3×105个格点，按每点有10个不同的灰度等级考虑，则可组成103?10个不同的画面。按等概计算，平均每个画面可提供的信息量约为（106bit/画面）。 （考点：信息量的概念及计算） 3、按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4、英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。 （考点：等长码编码位数的计算） 5、如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6、按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。 （考点：纠错码的分类） 7、码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4，2））线性分组码。 （考点：线性分组码的基本概念） 8、和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输速率，称之为（信道容量）。 （考点：连续信道和波形信道的信道容量） 9、对于一个（n,k）分组码，其最小距离为d，那么，若能纠正t个随机错误，同时能检测e（e≥t）个随机错误，则要求（d≥t+e+1）。（考点：线性分组码的纠检错能力概念） = pQhb) = = pWLh) 1 24 各章参考答案 2. 1. （1） 4.17 比特；（2） 5.17 比特； (3) 1.17 比特； (4) 3.17 比 特 2. 2. 1.42比特 2. 3. (1) 225.6 比特；(2) 13.2 比特 2. 4. (1) 24.07 比特； (2) 31.02 比特 2. 5. （1）根据炳的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。 如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无秩码天平 的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3o 从12个硬币 中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。冽31og3=log27>log24o 所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的炳。 其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ② 左倾③右倾。i ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚 中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出肃中没有假币；若有，还能 判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可 判断出假币。订）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未 称的3枚放到右盘中，观察称重缺码，若平衡，说明取下的3枚中含假币，只能判出轻重， 若倾斜方的不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说 明从右盘取过的3枚中有假币，便可判出轻重。 （2）第三次称重类似i ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。 对13个外形相同的硬币情况.第一次按4,4,5分别称重，如果假币在一五个硬币的组里，则鉴 别所需信息量为Iogl0>log9=21og3,所以剩下的2次称重不能获得所需的信息. 2. 6. (1) log2“=15 比特； (2) 1比特；（3） 15个问题 2. 7. 证明： （略） 2. 8. 证明： （略） / 、 1 1 1 、 1 2.9. P (dibi) = - p(ci\bi )= 12 P (cM — — P (sb) < , 12 , 6, 2. 10.证明： （略） 2. 11.证明： （略） 《信息论基础》试卷答案 、填空题(共 25分，每空1分) 1、连续信源的绝对熵为 无穷大。(或 p x lg p x dx lim Ig ) 2、 离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 _J ____ 。 3、 无记忆信源是指 信源先后发生的符号彼此统计独立 ___________________________ 。 4、 离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统 计特性，对概率大的符号用 短 码，对概率小的符号用 长 码，这样平均码长就可 以降低，从而提高 有效性(传输速率或编码效率) ___________________ 。 5、 为了提高系统的 —系统的可靠性可 以采用 信道编码 _______________ 。 6、 八进制信源的最小熵为 ，最大熵为 3bit/ 符号 ____________________ 。 7、 若连续信源输出信号的平均功率为 1瓦特，贝U 输出信号幅度的概率密度函数为 2|g2 e ）。 H s 9、 无失真信源编码定理指出平均码长的理论极限值为 信源熵(或H(S)或 ),此 lg r 时编码效率为_J ____ ，编码后的信息传输率为 lg r bit/ 码元 。 10、 _________________________________________________________ 一个事件发生的概率为，则自信息量为 3bit/ 符号 ________________________________________ 。 11、 信源的剩余度主要来自两个方面，一是 信源符号间的相关性 ______________ ，二 是信源符号概率分布的不均匀性 。 12、 m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m ___________ 个不同 的状态。 13、 同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为 2”所获得的信息量 为Ig36= __________ 比特，当得知“面朝上点数之和为 8”所获得的信息量为 lg36/5= 比特。 14、 在下面空格中选择填入的数学符号“ =,>,<, >”或 “ <” H(XY) = H(Y)+H(X I Y) W H(Y)+H(X) 高斯分布 （或 x: N 0,1 或 ,r eT )时，信源具有最大熵，其值为 (或或 8、即时码是指 任一码字都不是其它码字的前缀信息论基础各章参考答案
信息论基础》试卷(期末A卷
朱雪龙《应用信息论基础》习题第三章答案
信息论基础及答案
信息论基础理论与应用考试题及答案
信息论基础》试卷(期末A卷
信息论基础7答案
信息论基础答案2
信息论基础与编码课后题答案第三章
信息论基础1答案
信息论基础理论与应用考试题及答案
朱雪龙《应用信息论基础》习题答案
信息论基础理论与应用考试题及答案.doc
信息论基础及答案
信息论与编码习题1及答案1
信息论基础》试卷(期末A卷
信息论基础理论与应用测验题及答案
信息论基础试题及答案
信息论基础各章参考答案.doc
信息论基础及答案