信息论与编码考试题库
第二章习题：
补充题：掷色子，（1）若各面出现概率相同
（2）若各面出现概率与点数成正比
试求该信源的数学模型 解： （1）根据
6
1
()1i
i p a ==∑，且1
6()()p a p a =
=，得
161
()()6
p a p a =
==，所以信源概率空间为
1234561
1
11116
6
6
6
66????=??????
P （2）根据
6
1
()1i i p a ==∑，且126(),()2,
()6p a k p a k p a k ===，得1
21
k =
。 1234561
2
345621
21
21
21
2121????=??????
P 2-2 由符号集{}0,1组成的二阶马尔可夫链，其转移概率为P(0/00)=0.8，P(0/11)=0.2，P(1/00)=0.2， P(1/11)=0.8，P(0/01)=0.5，P(0/10)=0.5，P(1/01)=0.5，P(1/10)=0.5。画出状态图，并计算各状态的稳态
概率。
解：由二阶马氏链的符号转移概率可得二阶马氏链的状态转移概率为： P(00/00)=0.8 P(10/11)=0.2 P(01/00)=0.2 P(11/11)=0.8 P(10/01)=0.5 P(00/10)=0.5 P(11/01)=0.5 P(01/10)=0.5
二进制二阶马氏链的状态集S={,1S 432,,S S S }={00，01，10，11}
0.80.20.50.50.50.50.20.8?????
?=????
??
P 状态转移图
各状态稳定概率计算：???????==∑∑==4
1
4
1
1i j
ij i j j W
P W W 即 ???????
??=++++++=+++=+++=+++=1
43214443432421414434333232131342
432322212124143132121111W W W W P W P W P W P W W P W P W P W P W W P W P W P W P W w P W P W P W P W W
0.8
得：14541=
=W W 14232==W W 即：P(00)=P(11)=145 P(01)=P(10)=14
2
2-6掷两粒骰子，当其向上的面的小圆点数之和是3时，该消息所包含的信息量是多少？当小圆点数之和是7
时，该消息所包含的信息量又是多少？ 解：
2211111(3)(1)(2)(2)(1)666618(3)log (3)log 18()P P P P P I p ?
=?+?=?+?=?
?
?=-=?
比特 226(7)(1)(6)(2)(5)(3)(4)(4)(3)(5)(2)(6)(1)36(7)log (7)log 6()P P P P P P P P P P P P P I p ?
=?+?+?+?+?+?=
??
?=-=?
比特2-7
2-7设有一离散无记忆信源,其概率空间为
???
?????=====??????81,41,41,833,2,1,04321x x x x P X
该信源发出的消息符号序列为(202 120 130 213 001 203 210 110 321 010 021 032 011 223 210),求此消息
的自信息量是多少及平均每个符号携带的信息量?
解:消息序列中,“0”个数为1n =14,“1”个数为2n =13,“2”个数为3n =12,“3”个数为4n =6. 消息序列总长为N =1n +2n +3n +4n =45(个符号)
(1) 消息序列的自信息量: =
I ∑==41
)(i i
i
x I n -)(log 4
1
2i i i
x p n
∑=
= 比特81.87)3(log 6)2(log 12)1(log 13)0(log 142222=----p p p p
(2) 平均每个符号携带的信息量为:
)/(95.145
71.87符号比特==N I 2-14 在一个二进制信道中，信息源消息集X={0，1}，且P(1)=P(0),信宿的消息集Y={0，1}，信道传输概率P
（1/0）=1/4，P （0/1）=1/8。求：
（1）在接收端收到y=0后，所提供的关于传输消息x 的平均条件互信息量I （X;y=0）。 (2) 该情况所能提供的平均互信息量I （X ；Y ）。 解：X={0,1},Y={0,1}
()()()()01100101010100101101()(),(/)1/4,(/)1/8
1,()()1/2(/)1(/)3/4(/)1(/)7/8
p x p x p y x p y x p x p x p x p x p x p x p y x p y x p y x p y x ===+==?===-==-=
83)()/()(00000=
=x P x y P y x P 81)()/()(00110==x P x y P y x P 161)()/()(11001==x P x y P y x P 16
7
)()/()(11111=
=x P x y P y x P 求1
()()j i
j
i p y p x y ==
∑
1
000
317()(),81616i i P y P x y ===+=∑,169
)(1=y P
(/)()()(/)()
(/)(;)(/)log
log
log
()
()
()()
()
()
i j i j i j j i i j i j i j i
i
i
i j i j j j p x y p x y p x y p y x p x p y x I X y p x y p x p y p x p y p y p y ===∑∑
∑
1
0000
00(/)()(/)
(;)log ()()
i i i i P y x P x P y x I X y P y P y ==∑
00000011010000(/)()(/)(/)()(/)log log
()()()()61212
log log 0.4083/7777
P y x P x P y x P y x P x P y x P y P y P y P y bit s =+=
+=
1
1110
11(/)()(/)
(;)log ()()
i i i i P y x P x P y x I X y P y P y ==∑
10010111111111(/)()(/)(/)()(/)
log log
()()()()71424
log log 0.2358/9999
P y x P x P y x P y x P x P y x P y P y P y P y bit s =+=
+=
(2) 1
(;)()(;)j
j
j I X Y P y I X y ==
∑
符号比特/3113.02358.016
9
4083.0167);()();()(1100=?+?=
+=y X I y P y X I y
P 2-25 某一无记忆信源的符号集为{0，1}，已知01/4p =，13/4p =。
（1）求符号的平均熵。
（2）由100个符号构成的序列，求某一特定序列（例如有m 个0和100-m 个1）的自信息量的表达式。 （3）计算(2) 中的序列的熵。 解：（1）对离散无记忆信源符号的平均熵： ∑=-
=2
1
)(log )()(i i
i
x p x p X H 81.043
log 4341log 41=--= 比特/符号
（2）长度为L=100的符号序列中某特定序列)101100( =i α，其中“0”的个数为m ，“1”的个数为
100-m.该特定序列的概率为
)101100()( p p i =α
对离散无记忆信源，其符号独立出现，即
m
m i p p p p p p p p p p -===100)]1([)]0([)1()1()1()0()0()0()101100()( α 则该特定序列的
自信息量为：
)(log )(i i p I αα-=)1(log )100()0(log )]1([)]0(log[100p m p m p p m m ---=-=-
3log )100(4log 1003
4
log
)100(4log m m m --=-+= =41+1.59m (bit)
(3)长度为L=100的符号序列离散无记忆信源熵： )(L
X H =H(X 1X 2…X 100)=
)(100)()(100
1
X H X LH X
H l l
==∑==81（比特/序列）
2-30有一马尔可夫信源，已知转移概率为11(/)2/3p s s =，21(/)1/3p s s =，12(/)1p s s =，22(/)0p s s =。试
画出状态转移图，并求出信源熵。
解：（1）由题意知，该马尔可夫信源阶数为1，状态集S={}21,S S ， 状态转移图为：
2/3
(2) 信源熵：
()()()()22112
1
2//)/()(s X H s P s X H s P s X H s p H H i i i +===∑=∞
a) 求稳态概率)(i i s p W =
计算方程：???
????==∑∑==2
12
11
i j ij i j j W P W W 即：?????=++=+=12122212122121111W W P W P W W P W P W W ???
?
?
????
=+=+=131322112211W W W W W W W
得：75.01=W 25.01=W 即：P(S 1)=0.75 ，P(S 2)=0.25 b) 求H(X/S i )
H(X/S i )=
()()i j j i j s x p s x p /log /2
∑=
-
)3
1
,32()/(log )/()/(log )/()/(121211111H s x p s x p s x p s x p s X H =--=
)0,1()/(log )/()/(log )/()/(222221212H s x p s x p s x p s x p s X H =--=
则信源熵：H ()()∑=∞=
=2
1
2/i i
i
s X H s p H
=()1S P ()()()43//)(2211=
+s X H s p s X H s p H ()0,14
1
31,43H +??? ?? =0.69 比特/符号
2-33 一阶马尔可夫信源的状态图如图2-14所示，信源X 符号集为{0，1，2}。 （1）求平稳后信源的概率分布；
（2）求信源熵H ∞；
（3）求当p=0或p=1时信源的熵，并说明其理由。 解：（1）一阶马尔可夫信源的状态空间S=X={0，1，2}，由图2-14状态转移图中分析得，此马尔可夫链是时齐的，状态有限的和不可约闭集，非周期，所以具有各态历经性。平稳后状态的极限分布存在，因为是一阶马尔可夫信源，状态的极限分布即平稳后信源符号的一维概率分布，即
)(i i a p W = 3,2,1=i X a i ∈
根据状态转移图，得状态一步转移矩阵：
111213212223313233,,1,0,,,,1,0,,0,,1P P P P P P P P P P P P P P P P -????
????==-????????-????
计算方程组
???????
==∑∑==3
13
11j j i ij
i j W P W W 即 ???????=++++=++=++=1
32133
3232131332
322212123132121111W W W p W p W p W W p W p W p W W p W p W p W W
整理计算得：3/1321===W W W 即 状态极限概率 P(0)=P(1)=P(2)=1/3 (2) 根据马尔可夫信源熵的表达式：
21H H H m ==+∞ =
()()()∑∑===3
1
31
//i i
i
i
i i
S X H W S X H S P
)2/()2()1/()1()0/()0(X H p X H p X H p ++=
由()()()i j j i j
i x x p x x
p s X H /log //3
1
∑=-
=
()()()()()()()0/2log 0/20/1log 0/10/0log 0/00/p p p p p p X H ---=
=()()111112121313log log log 1,0,1,p p p p p p H p p H p p ---=-=-
同理 ()/1(,1)H X H p p =-
()/2(,1)H X H p p =-
从而
2(0)(/0)(1)(/1)(2)(/2)H H p H X p H X p H X ∞==++
()()3(0)1,1,(1)log(1)log p H p p H p p p p p p =-=-=---- 比特/符号
（3）当p=0或p=1时信源的熵()1,(1,0)(0,1)0H H p p H H ∞=-===，这是因为p=0或p=1时信源为确定性信源，观察着对信源发出什么符号不存在任何不确定度，所以信源不提供任何的信息量。
第三章
3-1．设二进制对称信道的概率转移距阵为
.
（1）若p( )=3/4，p()=1/4,求H(X),H(X|Y),H(Y|X)和I(X;Y)。(选做) （2）求该信道的信道容量及其达到信道容量时的输入概率分布。 解：（1）由题意可得 x 的先验概率P( )=3/4,p()=1/4. H(x)=H(3/4,1/4)=0.82bit/符号 由概率转移距阵得
符号转移概率：p( | )=2/3,p(| )=1/3,p (| )=1/3,p(| )=2/3. 联合概率：p(, )=p()p( | )=1/2
同理：p( , )=1/4，p( , )=1/12，p( , )=1/6
则条件熵：
(/)()log (/)i j j i i
j
H Y X p x y p y x =-∑∑
0000011010011111()log (/)()log (/)()log (/)()log (/)p x y p y x p x y p y x p x y p y x p x y p y x =----
=0.91bit/符号
另外00
10
()()()()i i
p y p x y p x y p x y =
=+∑p(
)=7/12
p()=5/12
()()log ()j j j
H Y p y p y =-∑=0.9799
根据()()(/)()(/)H XY H X H Y X H Y H X Y =+=+得
(/)()(/)()H X Y H X H Y X H Y =+-=0.7494bit/符号
互信息：(;)()(/)()(/)I X Y H X H Y X H Y H Y X =-=-=0.066bit/符号 (2) 由概率转移距阵，可知该信道为对称DMC 信道
故其信道容量：2log (/)i C m H Y x =- (m=2为接收端信宿符号集中符号数目) 2log 2(2/3,1/3)H -=0.082bit/符号 当其达到信道容量时输入为等概分布p()=p()=1/2. 3-5 求下列两个信道的容量，并加以比较 （1）11212p p P p p ε
εεε
εε---??
=?
?---?? （2）212010
2p p P p p ε
εεε
εε---??
=?
?---??
解：由于两信道均为准对称信道（行元素对应相同，但列元素不相同），可分解为
121212120102p p P p p p p P p p ε
εεεεεε
εεεεε---????=????---????---????=????---????
其信道容量公式为
'
''12
1
log (,,
,)log r
S
k k k C n H P P P N M ==--∑
则
122(1,,2)(12)log(12)2log 42(1,,2)(12)log(12)2log 2C lb H p p C lb H p p εεεεεεεεεεεεεε=--------=--------
1210.2
C C ε≤≤
∴<，即信道2比信道1好一些。
3-10. 一个平均功率受限制的连续信道，其通频带为1MHZ ，信道上存在白色高斯噪声。 （1）已知信道上的信道的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信道与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应为多大？
（3）若信道通频带减为0.5MHZ 时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大？ 解：(1)由题意可得:由SNR=10
信道的信道容量：C=W =3.46Mbit/s
（2）若SNR=5,信道容量保持不变.
由C=W
得W=C/
=1.34MHZ
(3)若W 减为0.5 MHZ,信道容量保持不变.
由C= W
易得 1+SNR=121 故SNR=120.
第四章
4-1 设有一个二元等概信源X={0，1}，011/2p p ==，通过一个二进制对称信道（BSC ）。其失真函数ij d 与信道转移概率ij p 分别定义为 10ij i j d i j ≠?=?
=? 1ij i j d i j
ε
ε
≠?=?
-=?
试求失真矩阵d 和平均失真D 。 解：由1,0,ij i j d i j ≠?=??
=?失真矩阵0110d ??
=??
??
,1,ij i j
p i j εε
≠?=??
-=?转移概率矩阵11p ε
εεε-??=??-??
平均失真为
2
2
2
2
11
11
11
121212(,)(,)(,)(,)()(/)(,)
()(/)()(/)1/21/2.
n
n
i j i j i j i j i i j i j i j i j i j D p a b d a b p a b d a b p a p a b d a b p a p b a p a p b a εεε==========+=?+?=∑∑∑∑∑∑
011/2p p ==
4-3 设输入符号表与输出符号表为X=Y={0，1，2，3}，且输入信号的分布为()1/4,0,1,2,3p X i i ===，设失真矩阵为
1111
011'11011110d ?????
?=??
??
??
求min D ，max D 和min ()R D ，max ()R D 以及相应的编码器转移概率矩阵。
解：对离散信源，min 0D =
min 21111()()(,,,)log 42/4444
R D H X H bit ====符号 当min 0D =时为无失真编码，信源符号与码符号一一对应，即
11223344,,,a b a b a b a b →→→→
则信道转移概率矩阵为10000
100'00100001p ??
???
?=??
??
??
max ()0R D =得ij j
p p =
()()()()4
max 111221331441112222332421,2,3,4
1
113223333443114224334444min
min{,,
1
,}min{
0111,4
11131011,1101,1110}4444
i ij
j j
i j
D p d
p d p d p d p d p d p d p d p d p d p d p d p d p d p d p d p d ====++++++++++++=++++++++++++=∑
假设1j =时失真达到max D ，即11i p p =则1234()1,()()()0p b p b p b p b ====
此时信道转移概率矩阵为 1
0001
00010001000p ?????
?=??
??
??
4-5 具有符号集01{,}U u u =的二元信源，信源发生概率为：00(),()1p u p p u p ==-，01/2p <<。Z 信道如图4-7所示，接收符号集01{,}V v v =，转移概率为：00(/)1p v u =，11(/)1p v u q =-。发出符号与接收符号的失真：0011(,)(,)0d u v d u v ==，1001(,)(,)1d u v d u v ==。 （1）计算平均失真D ；
（2）率失真函数R(D)的最大值是什么？ 当q 为什么值时可达到该最大值？ 此时平均失真D 是多大？ （3）率失真函数R(D)的最小值是什么？ 当q 为什么值时可达到该最小值？ 此时平均失真D 是多大？ （4）画出R(D)~D 的曲线。 解：概率转移矩阵为：1
0,1P q q ??=?
?
-??
失真矩阵为0110D ??
=????
（1）
1
1
1
1
00000010011010111111(,)(,)()(/)(,)
()(/)(,)()(/)(,)()(/)(,)()(/)(,)00(1)0(1);
i
j
i
j
i
j
i i j i j i j D p u v d u v p u p v
u d u v p u p v u d u v p u p v u d u v p u p v u d u v p u p v u d u v q p q p =======+++=++-+=-∑
∑∑∑（2）max ()()log (1)log(1)R D H U p p p p ==----，率失真函数取最大值时比对 应最小的失真，对离散信源，最小失真为零，即min (1)|0D q p =-=，由于01/2p <<，所以10p -≠，则0q = （3）min ()0R D =，对应最大的失真，max
(1)1D q p p =-=- 此时(1)0D q p =-=
（4）R(D)~D 曲线：
（2）（3）的传统解法：
（2）max ()()log (1)log(1)R D H U p p p p ==----
01()(1),()(1)(1)p v p q p p v p q =+-=--
1
1
000000
0100111010101111101(/)(/)
()min ()(/)log
()(/)log
()
()
(/)(/)(/)
()(/)log
()(/)log ()(/)log ()()()
ij D
j i i j i p p i j j p v u p v u R D p u p v u p u p v u p v p v p v u p v u p v u p u p v u p u p v u p u p v u p v p v p v ∈====+
++∑
∑
1log[(1)]0(1)log
(1)(1)log (1)(1)(1)
q q
p p q p p q p q p q p p q -=-+-++-+--+---
解方程 ()()R D H U =得 0q = 则平均失真 0D =； （3）min ()0R D =，令0R D （）=，得1q =
此时平均失真(1)1D q p p =-=-
第五章 信源编码
5-1 将下表所列的某六进制信源进行二进制编码，试问 (1) 这些码中哪些是唯一可译码？ (2)哪些码是非延长码（即时码）？
(3) 对所有的唯一可译码求出其平均码长和编码效率。 解：C1={000，001，010，011，100，101} C2={0，01，011，0111，01111，011111} C3={0，10，110，1110，11110，111110} (1) C1码组为等长码，因各码字均不相同，则必为唯一可译码。
C2码组中各码字长度分别为1231451,2,3,1,4,5k k k k k k ======，则根据克劳夫特不等式
6
6
1234561
1
22222220.98441i
i k k i i m
--------====+++++=<∑∑
则存在该码长分布的唯一可译码；下一步检验该码长构成的具体码字：最短的码字“0”是其他码的前缀，尾随后缀分别为1，11，111，1111，11111，这些尾随后缀都不是码组中的单独码字；次短的码字“01”是码字011，0111，01111，011111的 前缀，其尾随后缀为11，111，1111，11111不是码组中的单独码字，…….依次可判断其他次短码字虽然是长码字的前缀，但尾随后缀均不是码组中的单独码字，由此可断定该码字是唯一可译码。
C3码组的码长分布与C2码组相同，满足克劳夫特不等式，下一步检验该码长构成的具体码字：最短的码字”0” 不是其他码字的前缀，没有尾随后缀，次短码字”10”、110” “1110“、“11110”都不是其他码字的前缀，没有尾随后缀，所以必是唯一可译码。
（C3码组满足克劳夫特不等式，又是非前缀码，所以是唯一可译码） (2) C1 、C2、C3是唯一可译码，在唯一可译码中，分为即时码和非即时码。即时码的判断方法有两种： 根据定义：即时码又叫非前缀码或非延长码。则C1、C3是即时码 根据码树：码组中的各码字都处在树的终端节点上，则为即时码。
码树省略 判断结果为：C1、C3的各码字均处在码树的终端节点上，是即时码 (3)
根据公式6
1
()i
i
i K p u k
==
∑
13c K =
6
21
11117()12(3456)24168
c i i i K p u k ===
?+?+?+++=∑ 3217
8c c K K ==
根据编码效率公式()
H X K
η=得
6
1
111
()()log ()log 2log 44log1622416
i i i H X p u p u ==-=
++?=∑比特/符号
11
()2
66.7%3c c H X K η=
== 22
()1694.1%17c c H X K η=
== 32
()1694.1%17c c H X K η=
== 5-10 设有离散无记忆信源P(X)={0.37,0.25,0.18,0.10,0.07,0.03};
(1)求该信源符号熵H(X);
(2) 用哈夫曼编码编成二进制变长码，计算编码效率。
(3)要求译码错误小于3
10-，采用定长二元码要达到(2)中的哈夫曼编码效率，问需要多少个信源符号连在一起编？
解：（1）信源熵 26.2)(log )()(6
1
=-
=∑=i i
i
x p x p X H 比特/符号
(2) 用哈夫曼编码编成二进制变长码为
{00，01，11，101，1000，1001} 平均码长
3.2403.0407.031.0218.0225.0237.0)(6
1
=?+?+?+?+?+?==∑=i i i x p k k 码符号/信源符号
编码效率 %3.983.226
.2)(===
k
X H η (3)要求译码错误小于3
10-，采用定长二元码要达到(2)中的哈夫曼编码效率。 第一步： 根据039.0%3.98)()
(===+=
εε
ηX H X H
第二步 []{}[]{}[]{}
798.0)]([)()()()(()()(22
2
2
2=-=-=-=X H x I E X H x I E x I E x I E X i i i i σ
要求译码错误小于310-，令3
10-=δ，则需要一起编的符号长度应满足
72
2102.5)
(?=≥σ
εσX L 5-12 已知一信源包含8个消息符号，其出现的概率P(X)={0.1,0.18,0.4,0.05,0.06,0.1,0.07,0.04}，则求 (1) 该信源在每秒内发出一个符号，求该信源的熵及信息传输速率； (2) 对这8个符号作哈夫曼编码，写出相应码字，并求出编码效率； (3) 进行香农编码，写出相应码字，并求出编码效率； (4) 进行费诺编码，写出相应码字，并求出编码效率；
解：（1）信源熵 55.2)(log )()(8
1
=-
=∑=i i
i
x p x p X H 比特/符号
信息传输速率 秒比特/55.2)(1)(=?==X H X nH R t
(2) 对这8个符号作哈夫曼编码
所编码为{1，001，011，0000，0100，0101，00010，00011}； 平均码长
61
.2504.0505.0406.0407.041.031.0318.014.0)
(8
1
=?+?+?+?+?+?+?+?==∑=i i i x p k k 码符号/信源符号
编码效率 %7.9761.255
.2)(===k
X H η （3）香农编码 编码过程：
11110
96
.05
64
.404
.01110191.0532.405.01101185.0506.406.0110078.0484.307.0101068.0432.31.0100158.0432.31.00114.0347.218.0000232.14.0)()(8
4576124
x x x x x x x x P x I x p i
i i 码字；累加概率码长信源符号 所编码为{00，011，1001，1010，1100，11011，11101，11110}； 平均码长
17
.3504.0505.0506.0407.041.041.0318.024.0)
(8
1
=?+?+?+?+?+?+?+?==∑=i i i x p k k 码符号/信源符号
编码效率 %4.8017.355
.2)(===
k
X H η （4）费诺编码
所编码为{00，01，100，101，1100，1101，1110，1111}； 平均码长
64
.2304.0305.0406.0407.031.031.0218.024.0)
(8
1
=?+?+?+?+?+?+?+?==∑=i i i x p k k 码符号/信源符号
编码效率 %6.9664.255
.2)(===
k
X H η 补充1：几种实用的无失真信源编码方法
1． MH 编码
MH 编码是用于黑白二值文件传真的数据压缩编码。它是一维编码方案。它将游程编码和哈夫曼编码相结合的一种标准的改进哈夫曼码。
游程编码是无失真信源编码，二元序列编成多元码
在二元序列中，只有“0”和“1”两个码元，我们吧连续出现的“0”叫做“0”游程，连续出现的“1”叫做“1”游程。连续出现“0”或者“1”码元的个数叫做游程长度。这样，一个二元序列可以转换成游程序列，例如：二元序列0001100111100010可以变换成3224311，若规定游程必须从“0”游程开始，则上述变换是可逆的。如果连“0”或连“1”非常多，则可以达到信源压缩的目的。游程编码是无失真信源编码 2． 算术编码
算术编码也是一种无失真信源编码方法。
前面讨论的无失真信源编码方法，都是针对单个信源符号的编码，当信源符号之间有相关性时，这些编码方法由于没有考虑到符号之间的相关性，因此编码效率就不可能很高。解决的办法是对较长的信源序列进行编码，但会遇到与定长编码时同样的问题。而且，采用前面的序列编码需要完全知道联合概率和条件概率，这在场合下也是比较困难的。
为了解决这个问题，需要跳出分组码的局限，研究非分组码。算术编码就是一种非分组编码方法。其基本思路是：从全序列出发，将不同的信源序列的累计概率映射到[0，1]区间上，使每个序列对应区间上的一点，也就是说，把区间[0，1]分成许多互不重叠的小区间，不同的信源序列对应不同的小区间，可以证明，只要这些小区间互不重叠，就可以编得即时码。
这种编码方法无需计算出所有信源序列的概率分布及编出码表，可以直接对输入的信源符号序列进行编码输出。 3． LZ 码
LZ 码是一种通用编码方法，无需知道信源的统计特性，而且编码效率很高。
基本算法是：将长度不同的符号串编成一个新的短语(符号串)，形成短语词典的索引表。LZ78是一种分段编码 ，它的短语词典是由前面已见到的文本字段来定义的。
(续上) 补充2：几种常用的限失真信源编码方法：
4． 矢量量化
连续信源进行编码的主要方法是量化，即将连续的样值x 离散化成为1,2,
,i y i n =，。n 是量化级数，这
样就把连续值转化为n 个实数中的一个，可以用0，1，2，…，n 等n 个数字来表示。由于x 是一个标量，因此称为标量量化。在量化的过程中，将会引入失真，量化是必须使这些失真最小。
要想得到更好的性能，仅采用标量量化是不可能的。从前面的讨论我们已经知道，把多个信源符号组成一个符号序列进行联合编码可以提高编码效率。连续信源也是如此，当把多个信源符号联合起来形成多维矢量，然后进行量化，可以进一步压缩码率，这种量化方法叫做矢量量化。
实验证明，即使各信源符号相互独立，矢量量化也可以压缩信息率，因此，人们对矢量量化非常感兴趣，是当前信源编码的一个热点，而且不仅限于连续信源，对离散信源也可以如此。如图像编码时采用矢量量化，但由于联合概率密度不易测定，目前常用的是训练序列的方法，如图像编码时就要采用训练序列的方法，找到其码书，进行量化。还可以与神经网络方法结合，利用神经网络的自组织来得到训练集。 5． 预测编码
预测就是从已收到的符号来提取关于未收到的符号的信息，从而预测其最可能的制作为预测值。并把它与实际值之差进行编码，由于这个差值一般都比较小，所以在编码时会出现很多连“0”值，再采用游程编码，
就可以大大地压缩码率。由此可见，预测编码是利用信源符号之间的相关性来压缩码率的，对于独立信源，预测就没有可能。 6．变换编码
变换是一个广泛的概念。变换编码就是经变换后的信号能更有效地编码，也就是通过变换来解除或减弱信源符号间的相关性，以达到压缩码率的效果（如单频率正弦波信号，变换到频域）。一般地，对一个函数()f t ，变换式为：
()(,)i i f t a i t ?∞
==∑
而反变换为：
()(,)T
i a f t i t dt ?=?
要使上式成立，要求(,)i t ?必须是正交完备的（相当于欧氏空间的坐标投影），求i a 的公式，实际上就是内积运算，把函数()f t 投影到(,)i t ?上去。
信源编码常用的变换有：
(1) DCT （discrete Cosine Transform ）变换：如JPEG 、MPEG 等图像压缩标准中，就是主要采用的这种变换压
缩方法。
(2) K-L 变换：K-L 变换是均方误差准则下的最佳变换。
它是一种正交变换，变幻后的随机变量之间互不相关，一般认为，K-L 变换是最佳变换，其最大缺点是计算复杂，除了需要测定相关函数和解积分方程外，变换时的运算也十分复杂，也没有快速算法，因此，K-L 变换不是一种实用的变换编码方法，但经常用来作为标准，评估其他方法的优劣。 （3）小波（Wavelet Transform ）变换：
小波变换是当前信号处理以及多种应用科学中广泛用到的一种相当有效的数学工具。小波变换的概念首先是由法国的石油地质工程师J.Morlet 于 1980年提出的，1990年Mallat 等人一起建立了多分辩分析的概念。与经典的Fourier 分析相比较，小波的最大优势是变换本身具有时间与频率的双重局部性质，解决了Fourier 分析不能处理的许多实际问题，因而小波变换被人们称之为“数学显微镜”。
20世纪90年代中期以前，图像压缩主要采用离散余弦变换 (DCT)技术，著名的JPEG 、H.263等图像压缩国际标准均采用DCT 方法实现图像压缩。而DCT 最大的缺陷是当压缩比较大时，会出现马赛克效应，因而影响图像压缩质量。最近几年来，由于小波变换具有DCT 无可比拟的良好压缩性质，在最新推出的静态图像压缩国际标准JPEG2000中，9/7双正交小波变换已经正式取代DCT 而作为新的标准变换方法。 （4）分形（Fractal Transform ）变换：
基于块的分形编码是一种利用图像的自相似性来减少图象冗余度的新型编码技术，它具有以下特点： 较高的压缩比。
解码图象的分辨率无关性。可按任意高于或低于原编码图象的分辨率来进行解码。当要解码成较高分
辨率图象时，引入的细节会与整个图象大致和谐一致，从而比象素复制或插值方法得到的图象看起来更自然。这种缩放能力也可以用作图象增强工具。
解码速度快。分形压缩是一非对称过程，虽然编码很耗时 ，但解码速度快，因此较适用于一次编码
多次解码的应用中。
编码时间过长，实时性差，从而阻碍了该方法在实际中的广泛应用。 还有很多其他的编码方法，这里就不再一一介绍了。
补充3：香农第二定理——信道编码定理 1、有噪信道编码定理
如一个离散无记忆信道，信道容量为C 。当信息传输率R ≤C 时，只要码长足够长，总可以找到一种信道编码方法，使信道输出端的平均错误译码概率达到任意小。 2、有噪信道编码逆定理
如一个离散无记忆信道，信道容量为C 。当信息传输率R>C 时，则无论码长n 多长，总找不到一种编码方法，使信道输出端的平均错误译码概率达到任意小。
这个定理是信道编码的理论依据，可以看出：信道容量是一个明确的分界点，当取分界点以下的信息传输率时，信道输出端误码率以指数趋进于0；当取分界点以下的信息传输率时， 输出端误码率以指数趋进于1；因此在任何信道中，信道容量都是可达的、最大的可靠信息传输率。
这个定理是一个存在定理，它没有给出一个具体可构造的编码方法，在它的证明过程中，码书是随机的选取的，它有助于指导各种通信系统的设计，有助于评价各种系统及编码的效率。
补充4：无噪信道编码定理——无失真信源编码定理
失真信源编码定理通常又称为无噪信道编码定理。此定理可以表述为：若信道的信息传输率R 不大于信道容量C ，总能对信源的输出进行适当的编码，使得在无噪无损信道上能无差错地以最大传输率C 传输信息；但要使信道的信息传输率R 大于C 而无差错地传输信息是不可能的。
补充5：若有一信源??
?
???=??????2.08.021)(s s s p S 每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元
信道中进行传输(假设信道是无噪无损的)，二信道每秒钟传递二个二元符号。试问此信源不通过编码能否直接
与信道连接？若通过适当编码能否在信道中进行无失真传输？若能连接，使说明如何编码并说明原因。 解：信源?
?
?
???=????
??2.08.021)(s s s p S 其信源熵 722.0)(log )()(2
1
≈-
=∑=i i
i
s p s p S H 比特/符号
而其每秒钟发2.66个信源符号，所以信源输出的信息速率为
秒比特符号比特秒符号/921.1/722.0/66.2)(66.2=?≈=S H R t
送入一个二元无噪无损信道，此信道的最大信息传输率(信道容量)C=1比特/符号。而信道每秒钟只传送两个二元符号，所以信道的最大信息传输速率
秒比特符号比特秒符号/21//2=?=C C t
可见t t C R <，根据无噪信道编码定理（即无失真信源编码定理），因为t t C R <，所以总能对信源的输出进行适当的编码，使此信源在此信道中进行无失真传输。
如果对信源不进行编码，直接将信源符号s1以0符号传送，s2以1符号传送，这时因为信源输出为2.66二元信源符号/秒，大于2二元信道符号/秒，就会使信道输入端造成信源符号的堆积，信息不能按时发送出去。所以，不通过编码此信源不能直接与信道连接。
若要连接，必须对信源的输出符号序列进行编码，也就是对此信源的N 次扩展信源进行编码。但扩展次数N 越大，编码越复杂，设备代价越大，所以尽量使扩展次数 N 小，而又能使信源在此信道中无失真传输。
先考虑N=2，并对二次扩展信源进行哈夫曼编码，得
111
11010004.016.016.064.022122111)(2哈夫曼码??????=??
????s s s s s s s s s p S
得 56.12=k 二元符号/信源序列 78.0=k 二元符号/信源符号 二次扩展编码后，送入信道的传输速率为
秒
二元符号〉秒
二元符号信源符号二元符号秒信源符号/2/075.2/78.0/66.2=?
所以，必须考虑N=3即对三次扩展信源进行哈夫曼编码，得
01111
0111001101011000100010001008.0032.0032.0032.0128.0128.0128.0512.0222122212221112121211111)(3哈夫曼码??????=??
????s s s s s s s s s s s s s s s s s s s s s s s s s p S
得 184.23=k 二元符号/信源序列 728.0=k 二元符号/信源符号 二次扩展编码后，送入信道的传输速率为
秒
二元符号秒
二元符号信源符号二元符号秒信源符号/2/9365.1/728.0/66.2<=?
此时，就可以在此信道中进行无失真传输了。
补充6： 若有一信源??
????=??????5.05.021)(s s s p S 每秒钟发出2.66个信源符号。将此信源的输出符号送入某一个二元
信道中进行传输(假设信道是无噪无损的)，二信道每秒钟传递二个二元符号。
(1) 试问此信源能否在此信道中无失真传输。
(2) 若此信源失真测度定义为汉明失真，问允许信源平均失真为多大时，此信源就可以在此信道中传输。
解：(1) 信源??
?
???=??????5.05.021)(s s s p S
其信源熵 1)(log )()(2
1
=-
=∑=i i
i
s p s p S H 比特/符号
而其每秒钟发2.66个信源符号，所以信源输出的信息速率为
秒比特符号比特秒符号/66.2/1
/66.2)(66.2=?≈=S H R t 送入一个二元无噪无损信道，此信道的最大信息传输率(信道容量)C=1比特/符号。而信道每秒钟只传送两个二
元符号，所以信道的最大信息传输速率
秒比特符号比特秒符号/21//2=?=C C t
可见t t C R >，根据无噪信道编码定理（即无失真信源编码定理），因为t t C R >，所以不论进行任何编码此信源都不可能在此信道中实现无失真的传输，所以信源在此信道中传输会引起错误和失真。
（2）若此信源失真测度定义为汉明失真，因为是二元信源，输入是等概分布，所以信源地信息率失真函数为
)(1)(D H D R -= 比特/信源符号
))(1(66.2)(66.2)(D H D R D R t -== 比特/秒 若 )(D R C t t >
则此信源在此信道中传输时不会引起错误。也就是不会因为信道而增加信源新的失真。总的信源的失真是信源压缩编码所造成的允许失真D 。
所以有
2481
.0)(66
.0)(66.22
))(1(66.2)(66.2)(===-===D H D H D H D R D R C t t
故 D=0.0415
允许信源平均失真为D=0.0415时，此信源就可以在此信道中传输
补充7：为了传输一个由字母A ，B ，C ，D 组成的符号集，把每个字母编码成二元码脉冲序列，以“00”代表A ，“01”代表B ，“10”代表C ，“11”代表D ，每个二元码脉冲宽度为5ms ， （1） 不同字母等概率出现时，计算传输的信息速率？ （2） 若每个字母出现的概率分别为15A p =
，14B p =，14c p =，310
A p =，试计算传输的信息速率。 解：（1）不同字母等概率出现时，符号集的概率空间为：
111
14444A B C
D X P ?????
?=???
?????
每个符号含有的平均信息量即熵为：
2()log 42H X == 比特/符号（字母）
现在用两个二元码脉冲代表1个字母，每个二元码脉冲宽度为5ms τ=，则每个字母占用210t ms τ==。一秒内可以传输的字母个数： 1
100n t
=
= 字母/秒 则信息传输速率： ()200R nH X == 比特/秒 （2）字母出现概率不同时，据题意其概率空间为
111354410A B C D X P ??????=???????
???
则此时每个字母含有的平均信息量为：
4
1
()()log () 1.985i
i
i H X p a p a ==-
=∑ 比特/符号
同（1），计算得传输的信息速率为 ()198.5R nH X == 比特/秒
第六章 信道编码
例1 设有一离散信道，其信道转移矩阵为
????
?
?????2/16/13/13/12/16/16/13/12/1 并设2/1)(1=x p ，4/1)()(32==x p x p ，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
解：由于本离散信道的输入符号的先验概率)(i x p 不是等概分布，所以对于最小错误概率准则必须根据联合概率)(j i y x p 的大小来选择。
联合概率矩阵为????
?
?????8/124/112/112/18/124/112/16/14/1 对于y 1, 12/1)()(24/1)(4/1)(13111211=>=>=y x p y x p y x p y x p 对于y 2, 24/1)()(8/1)(6/1)(23212221=>=>=y x p y x p y x p y x p 对于y 1, 12/1)()(12/1)(8/1)(32333133=>=>=y x p y x p y x p y x p
所以，按最小错误概率准则确定的译码规则是 11)(x y F = 12)(x y F = 33)(x y F =
对于最大似然译码规则，我们可以直接从信道矩阵的转移概率中来选择。 对于y 1, 3/1)/()/(6/1)/(2/1)/(31112111=>=>=x y p x y p x y p x y p 对于y 2, 6/1)/()/(3/1)/(2/1)/(32221222=>=>=x y p x y p x y p x y p 对于y 3, 3/1)/()/(6/1)/(2/1)/(23331333=>=>=x y p x y p x y p x y p
所以，按最大似然译码准则确定的译码规则是
11)(x y F = 22)(x y F = 33)(x y F =
平均错误概率为
∑∑-=
Y
x
X j
i
e y
x p P *
)(
所以，按最小错误概率准则确定的译码规则引起的平均错误概率为
24
/11)12/112/1()24/18/1()12/124/1()
()()()(3
1
1
*
3
2
1
=+++++=+
+=
=∑∑∑∑
∑----x X i x X i
x X i Y
x
X j
i
e y x p y
x p y x p y
x p P
最大似然译码准则确定的译码规则引起的平均错误概率
2
/1)12/112/1()24/16/1()12/124/1()
()()()(3
1
1
*
3
2
1
=+++++=+
+=
=∑∑∑∑
∑----x X i x X i
x X i Y
x
X j
i
e y x p y
x p y x p y
x p P
例2 设某二元码为C={11100，01001，10010，00111} （1）计算此码的最小距离min d ；
（2）计算此码的码率R ，假设码字等概率分布；
（3）采用最小距离译码准则，试问接收序列10000，01100和00100应译成什么码字； （4）此码能纠正几位码元的错误？ 解（1）此二元码的最小距离 min 3d =
（2）此二元码的码字个数M=4，码长N=5，所以码率log 2
5
M R N =
= 比特/码符号 （3）采用最小距离译码准则（即将接收序列译成与其码距为最小的码字），接收序列10000与码字10010距
离为1，与其他码字的距离都大于1，所以 10000 译成 10010 01100 译成 11100
00100 译成 11100 或00111
（4）因为此码min 3d =，所以t=1，即此码能纠正一位随机错误。 例3 下面是某(n,k)线性二元码的全部码字：
110101
110010101100101011
01111001100100011100000087654321========C C C C C C C C
(1) 求n ，k 为何值；
(2) 构造这码的生成矩阵；
(3) 构造这码的一致校验矩阵。
(4) 列出所有的码字，比较此码与题中码的纠、检错能力。
解：(1) 因为码字数M=8=2k =23
，所以k=3，n=6为(6,3)线性分组码。 （2）生成矩阵为k 行n 列的矩阵，有k=3个线性无关的码字组成。
故 ????
??????=110101100110111000G (3) 一致校验矩阵的构造方法很多，
第一种方法：设信息位为 )(012m m m m =，则码字
信息论与编码复习题目
信息论复习提纲 第一章绪论 1．通信系统模型； 2．香浓信息的概念； 3．信源、信道、信源编码和信道编码研究的核心问题。 第二章离散信源及信源熵 1．离散信息量、联合信息量、条件信息量、互信息量定义； 2．信源熵、条件熵、联合熵定义； 3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）； 4．最大信源熵定理及证明； 5．本章所有讲过的例题； 第三章离散信源的信源编码 1．信息传输速率、编码效率定义； 2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明； 3．码组为即时码的充要条件； 4．单义可译定理（Kraft不等式）及应用； 5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题； 第四章离散信道容量 1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离
散信道、准对称离散信道）； 2．本章讲过的例题； 第五章连续消息和连续信道 1．相对熵的定义； 2．均匀分布、高斯分布、指数分布的相对熵及证明； 3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明； 4．香农公式及意义； 5．本章所有讲过的例题； 第六章差错控制 1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）； 3．本章所有讲过的例题； 第七章线性分组码 1．线性分组码定义； 2．线性分组码的最小距离与最小重量的关系及证明； 3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系； 4．制作标准阵列并利用标准阵列译码； 5．本章所有讲过的例题； 第八章循环码 1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；
答案~信息论与编码练习
1、有一个二元对称信道，其信道矩阵如下图所示。设该信道以1500个二元符号/秒的速度传输输入符号。现有一消息序列共有14000个二元符号，并设在这消息中P(0)=P(1)=1/2。问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传送完？ 解答：消息是一个二元序列，且为等概率分布，即P(0)=P(1)=1/2，故信源的熵为H(X)=1(bit/symbol)。则该消息序列含有的信息量＝14000(bit/symbol)。 下面计算该二元对称信道能传输的最大的信息传输速率： 信道传递矩阵为： 信道容量（最大信息传输率）为： C=1-H(P)=1-H(0.98)≈0.8586bit/symbol 得最大信息传输速率为： Rt ≈1500符号/秒× 0.8586比特/符号 ≈1287.9比特/秒 ≈1.288×103比特/秒 此信道10秒钟内能无失真传输得最大信息量＝10× Rt ≈ 1.288×104比特 可见，此信道10秒内能无失真传输得最大信息量小于这消息序列所含有的信息量，故从信息传输的角度来考虑，不可能在10秒钟内将这消息无失真的传送完。 2、若已知信道输入分布为等概率分布，且有如下两个信道，其转移概率矩阵分别为： 试求这两个信道的信道容量，并问这两个信道是否有噪声？ 3 、已知随即变量X 和Y 的联合分布如下所示： 01100.980.020.020.98P ?? =?? ??11112222 1111222212111122221111222200000000000000000000000000000000P P ???????? ????==???? ????????11 2222111 22222log 4(00)1/()log 42/log 8(000000)2/(),H bit symbol H X bit symbol C C H bit symbol H X C =-===>=-==1解答：(1)由信道1的信道矩阵可知为对称信道故C 有熵损失，有噪声。(2)为对称信道，输入为等概率分布时达到信道容量无噪声
信息论与编码理论习题答案
信息论与编码理论习题 答案 LG GROUP system office room 【LGA16H-LGYY-LGUA8Q8-LGA162】
第二章 信息量和熵 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的信息速 率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少信息 量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log = bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log = bit 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log = bit (b) ? ??????花色任选种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C = bit 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的点数之和， Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、),|(Y X Z H 、 )|,(Y Z X H 、)|(X Z H 。
信息论与编码课后习题答案
1． 有一个马尔可夫信源，已知p(x 1|x 1)=2/3，p(x 2|x 1)=1/3，p(x 1|x 2)=1，p(x 2|x 2)=0，试画出该信源的香农线图，并求出信源熵。 解：该信源的香农线图为： 1/3 ○ ○ 2/3 (x 1) 1 (x 2) 在计算信源熵之前，先用转移概率求稳定状态下二个状态x 1和 x 2 的概率)(1x p 和)(2x p 立方程：)()()(1111x p x x p x p =+)()(221x p x x p =)()(2132x p x p + )()()(1122x p x x p x p =+)()(222x p x x p =)(0)(2131x p x p + )()(21x p x p +=1 得4 3 1)(=x p 4 12)(=x p 马尔可夫信源熵H = ∑∑- I J i j i j i x x p x x p x p )(log )()( 得 H=0.689bit/符号 2．设有一个无记忆信源发出符号A 和B ，已知4 341)(.)(= =B p A p 。求： ①计算该信源熵； ②设该信源改为发出二重符号序列消息的信源，采用费诺编码方法，求其平均信息传输速率； ③又设该信源改为发三重序列消息的信源，采用霍夫曼编码方法，求其平均信息传输速率。 解：①∑- =X i i x p x p X H )(log )()( =0.812 bit/符号 ②发出二重符号序列消息的信源,发出四种消息的概率分别为 用费诺编码方法 代码组 b i BB 0 1 BA 10 2 AB 110 3 AA 111 3 无记忆信源 624.1)(2)(2 ==X H X H bit/双符号 平均代码组长度 2B =1.687 bit/双符号 B X H R )(22==0.963 bit/码元时间 ③三重符号序列消息有8个,它们的概率分别为 用霍夫曼编码方法 代码组 b i BBB 64 27 0 0 1 BBA 64 9 0 )(6419 1 110 3
信息论与编码试题集与答案(2014)
一填空题 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y 获得的关于每个X 的平均信息量，也表示发X 前后Y 的平均不确定性减少的量，还表示通信前 后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大,最大熵值为。 3、香农公式为 为保证足够大的信道容量，可采用（1）用频带换信噪比； （2）用信噪比换频带。 4、只要，当N 足够长时，一定存在一种无失真编码。 5、当R ＜C 时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 6、1948年，美国数学家 香农 发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 7.人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 8.信息的 可度量性 是建立信息论的基础。 9.统计度量 是信息度量最常用的方法。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 n m 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。
信息论与编码试题集与答案(新)
1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （√ ） 2. 线性码一定包含全零码。 （√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。 （√ ） 8. 信道容量是信道中能够传输的最小信息量。 （×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方 法叫做最佳译码。 （√ ）
信息论与编码习题参考答案
bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性： 由于亮度电平等概出现 . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化 所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i 个汉字 最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H ),...,,(21n p p p n m ≤≤0∑=-=m i i m p q 1 1)log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤ ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )( 又为凸函数。即又为凸函数，如下：先证明 时等式成立。 当且仅当时等式成立。当且仅当即可得： 的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 X n
信息论与编码理论课后习题答案高等教育出版社
信息论与编码理论习题解 第二章-信息量和熵 解: 平均每个符号长为:154 4.0312.032= ?+?秒 每个符号的熵为9183.03log 3 1 23log 32=?+?比特/符号 所以信息速率为444.34 15 9183.0=?比特/秒 解: 同步信号均相同不含信息,其余认为等概, 每个码字的信息量为 3*2=6 比特； 所以信息速率为600010006=?比特/秒 解:(a)一对骰子总点数为7的概率是 36 6 所以得到的信息量为 585.2)366(log 2= 比特 (b) 一对骰子总点数为12的概率是36 1 所以得到的信息量为 17.536 1 log 2= 比特 解: (a)任一特定排列的概率为 ! 521 ,所以给出的信息量为 58.225! 521 log 2 =- 比特 (b) 从中任取13张牌,所给出的点数都不相同的概率为 1352 13 13 521344!13C A =? 所以得到的信息量为 21.134 log 1313 52 2=C 比特. 解:易证每次出现i 点的概率为 21 i ,所以
比特比特比特比特比特比特比特398.221 log 21)(807.1)6(070.2)5(392.2)4(807.2)3(392.3)2(392.4)1(6,5,4,3,2,1,21 log )(26 12=-==============-==∑ =i i X H x I x I x I x I x I x I i i i x I i 解: 可能有的排列总数为 27720! 5!4!3! 12= 没有两棵梧桐树相邻的排列数可如下图求得， Y X Y X Y X Y X Y X Y X Y X Y 图中X 表示白杨或白桦，它有???? ??37种排法，Y 表示梧桐树可以栽 种的位置，它有???? ??58种排法，所以共有???? ??58*???? ??37=1960种排法保证没有 两棵梧桐树相邻，因此若告诉你没有两棵梧桐树相邻时，得到关于树排列的信息为1960log 27720log 22-= 比特 解: X=0表示未录取，X=1表示录取； Y=0表示本市，Y=1表示外地； Z=0表示学过英语，Z=1表示未学过英语，由此得
信息论与编码期中试卷及答案
信息论与编码期中试题答案 一、（10’）填空题 （1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 （2）必然事件的自信息是0 。 （3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。 （4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。 （5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。 二、（10?）判断题 （1）信息就是一种消息。（? ） （2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（? ） （3）概率大的事件自信息量大。（? ） （4）互信息量可正、可负亦可为零。（? ） （5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。 （? ） （6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（? ） （7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（? ） （8）信源变长编码的核心问题是寻找紧致码（或最佳码）。 （? ） （9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10?）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。 假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？ 解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分） 故p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）
信息论与编码课后答案
一个马尔可夫信源有3个符号{}1,23,u u u ，转移概率为：()11|1/2p u u =，()21|1/2p u u =， ()31|0p u u =，()12|1/3p u u =，()22|0p u u =，()32|2/3p u u =，()13|1/3p u u =，()23|2/3p u u =，()33|0p u u =，画出状态图并求出各符号稳态概率。 解：状态图如下 状态转移矩阵为： 1/21/2 01/302/31/32/30p ?? ?= ? ??? 设状态u 1，u 2，u 3稳定后的概率分别为W 1，W 2、W 3 由1231WP W W W W =??++=?得1231132231231 112331223 231W W W W W W W W W W W W ?++=???+=???=???++=? 计算可得1231025925625W W W ?=??? =?? ?=?? 由符号集{0，1}组成的二阶马尔可夫链，其转移概率为：(0|00)p =，(0|11)p =，(1|00)p =， (1|11)p =，(0|01)p =，(0|10)p =，(1|01)p =，(1|10)p =。画出状态图，并计算各状态 的稳态概率。 解：(0|00)(00|00)0.8p p == (0|01)(10|01)0.5p p == (0|11)(10|11)0.2p p == (0|10)(00|10)0.5p p == (1|00)(01|00)0.2p p == (1|01)(11|01)0.5p p == (1|11)(11|11)0.8p p == (1|10)(01|10)0.5p p ==
信息论与编码试题-精选.
模拟试题一 一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按 发出符号，求
和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。
8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量：
，，
10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。 二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求： （1）求该马氏信源的符号熵。 （2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。 （3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？
信息论与编码期末试卷
上海大学2011～2012学年度冬季学期试卷（A卷） 课程名:信息论与编码课程号: 07276033学分: 4 应试人声明： 我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。 应试人应试人学号应试人所在院系 题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸 成绩
信息论与编码理论习题答案全解
信息论与编码理论习题答案全解
第二章 信息量和熵 2.2 八元编码系统，码长为3，第一个符号用于同步，每秒1000个码字，求它的 信息速率。 解：同步信息均相同，不含信息，因此 每个码字的信息量为 2?8log =2?3=6 bit 因此，信息速率为 6?1000=6000 bit/s 2.3 掷一对无偏骰子，告诉你得到的总的点数为：(a) 7; (b) 12。问各得到多少 信息量。 解：(1) 可能的组合为 {1，6},{2，5},{3，4},{4，3},{5，2},{6，1} )(a p =366=6 1 得到的信息量 =) (1 log a p =6log =2.585 bit (2) 可能的唯一，为 {6，6} )(b p =361 得到的信息量=) (1 log b p =36log =5.17 bit 2.4 经过充分洗牌后的一副扑克（52张），问： (a) 任何一种特定的排列所给出的信息量是多少？ (b) 若从中抽取13张牌，所给出的点数都不相同时得到多少信息量？ 解：(a) )(a p =! 521 信息量=) (1 log a p =!52log =225.58 bit (b) ???????花色任选 种点数任意排列 13413!13 )(b p =13 52134!13A ?=1352 13 4C 信息量=1313 52 4log log -C =13.208 bit
2.9 随机掷3颗骰子，X 表示第一颗骰子的结果，Y 表示第一和第二颗骰子的 点数之和，Z 表示3颗骰子的点数之和，试求)|(Y Z H 、)|(Y X H 、 ),|(Y X Z H 、)|,(Y Z X H 、)|(X Z H 。 解：令第一第二第三颗骰子的结果分别为321,,x x x ，1x ，2x ，3x 相互独立， 则1x X =，21x x Y +=，321x x x Z ++= )|(Y Z H =)(3x H =log 6=2.585 bit )|(X Z H =)(32x x H +=)(Y H =2?( 361log 36+362log 18+363log 12+364log 9+365log 536)+36 6 log 6 =3.2744 bit )|(Y X H =)(X H -);(Y X I =)(X H -[)(Y H -)|(X Y H ] 而)|(X Y H =)(X H ，所以)|(Y X H = 2)(X H -)(Y H =1.8955 bit 或)|(Y X H =)(XY H -)(Y H =)(X H +)|(X Y H -)(Y H 而)|(X Y H =)(X H ，所以)|(Y X H =2)(X H -)(Y H =1.8955 bit ),|(Y X Z H =)|(Y Z H =)(X H =2.585 bit )|,(Y Z X H =)|(Y X H +)|(XY Z H =1.8955+2.585=4.4805 bit 2.10 设一个系统传送10个数字，0，1，…，9。奇数在传送过程中以0.5的概 率错成另外一个奇数，其余正确接收，求收到一个数字平均得到的信息量。 解： 信道 X Y 9,7,5,3,1=i 8,6,4,2,0=i √Χ );(Y X I =)(Y H -)|(X Y H 因为输入等概，由信道条件可知，
信息论与编码试题集与答案(新)
" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先 信源 编码， 然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越 小 ，其密文中含有的关于明文的信息量I (M ；C )就越 大 。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。 二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。 （ ） 2. 线性码一定包含全零码。 （ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的 编码，是以另外一种形式实现的最佳统计匹配编码。 （×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。 （×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。 （×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具 有最大熵。 （ ） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。 （ ） 9. 信道容量是信道中能够传输的最小信息量。 （×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。 （×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方
信息论与编码理论第二章习题答案
I (X ;Y=1)= P(x/Y 1)I(x;Y 1) x P(x/Y 1)log P(x/Y 1) P(x) = P(X 0/Y 1)log P(X 0/Y 1) P(X 0) P(X 1/Y 1)log P(X 1/Y 1) P(X 1) 部分答案，仅供参考。 信息速率是指平均每秒传输的信息量点和划出现的信息量分别为log3Jog3， 2’ 一秒钟点和划出现的次数平均为 1 15 2 1 ~4 0.20.4 - 3 3 一秒钟点和划分别出现的次数平均为巴5 4 4 那么根据两者出现的次数，可以计算一秒钟其信息量平均为10 log 3 5 竺 5 4 2 4 4 2 解： ⑻骰子A和B，掷出7点有以下6种可能： A=1,B=6; A=2,B=5; A=3,B=4; A=4,B=3; A=5,B=2; A=6,B=1 概率为6/36=1/6，所以信息量 -log(1/6)=1+log3 ~ bit (b)骰子A和B,掷出12点只有1种可能： A=6,B=6 概率为1/36，所以信息量 -log(1/36)=2+log9 ~ bit 解： 出现各点数的概率和信息量： 1 点：1/21 , log21 ?bit ; 2 点：2/21 , log21-1 ?bit ; 3 点：1/7 , log7 4 点：4/21 , log21-2 5 点：5/21 , log (21/5 )~; 6 点：2/ 7 , log(7/2)? 平均信息量： (1/21) X +(2/21) X +(1/7) X +(4/21) X +(5/21) X +(2/7) 解： X=1:考生被录取；X=0考生未被录取； Y=1：考生来自本市；Y=0考生来自外地； Z=1:考生学过英语；z=o：考生未学过英语 P(X=1)=1/4, P( X=q=3/4; P( Y=1/ X=1)=1/2 ；P( Y=1/ X=0)=1/10 ；P(Z=1/ Y=1 )=1, P( Z=1/ X=0, Y=0 )=, P( Z=1/ X=1, Y=0 )=, P(Z=1/Y=0)= (a)P(X=0,Y=1)=P(Y=1/X=0)P(X=0)=, P(X=1,Y=1)= P(Y=1/X=1)P(X=1)= P(Y=1)= P(X=0,Y=1)+ P(X=1,Y=1)= P(X=0/Y=1)=P(X=0,Y=1)/P(Y=1)=, P(X=1/Y=1)=P(X=1,Y=1)/P(Y=1)=
信息论与编码期末考试题----学生复习用
《信息论基础》参考答案 一、填空题 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22 212x f x e σπσ -= 时，信源 具有最大熵，其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。 （2）()() 1222H X X H X =≥()()12333 H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y) 一填空题（本题20分，每小题2分） 1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。 按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 212。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度 高斯分布 时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功 (一) 一、判断题共10 小题,满分20 分、 1、当随机变量与相互独立时,条件熵等于信源熵、( ) 2、由于构成同一空间得基底不就是唯一得,所以不同得基底或生成矩阵有可能生成同一码集、( ) 3、一般情况下,用变长编码得到得平均码长比定长编码 大得多、( ) 4、只要信息传输率大于信道容量,总存在一种信道编译 码,可以以所要求得任意小得误差概率实现可靠得通 信、 ( ) 5、各码字得长度符合克拉夫特不等式,就是唯一可译码存在得充分与必要条件、() 6、连续信源与离散信源得熵都具有非负性、( ) 7、信源得消息通过信道传输后得误差或失真越大,信宿收到消息后对信源存在得不确 定性就越小,获得得信息量就越小、 8、汉明码就是一种线性分组码、( ) 9、率失真函数得最小值就是、( ) 10、必然事件与不可能事件得自信息量都就是、( ) 二、填空题共 6 小题,满分20 分、 1、码得检、纠错能力取决 于、 2、信源编码得目得就是 ;信道编码 得目得就是、 3、把信息组原封不动地搬到码字前位得码就叫 做、 4、香农信息论中得三大极限定理就 是、、、 5、设信道得输入与输出随机序列分别为与,则成立得 条件、 6、对于香农-费诺编码、原始香农-费诺编码与哈夫曼编码,编码方法惟一得就是、 7、某二元信源,其失真矩阵,则该信源得=、 三、本题共 4 小题,满分50 分、 1、某信源发送端有2种符号,;接收端有3种符号,转移概率矩阵为、 （1）计算接收端得平均不确定度; （2）计算由于噪声产生得不确定度; （3）计算信道容量以及最佳入口分布、 2、一阶马尔可夫信源得状态转移图如右图所示, 信源得符号集为、 (1)求信源平稳后得概率分布; (2)求此信源得熵; (3)近似地认为此信源为无记忆时,符号得概率分布为平 稳分布、求近似信源得熵并与进行比较、 4、设二元线性分组码得生成矩阵为、 (1)给出该码得一致校验矩阵,写出所有得陪集首与与之相 对应得伴随式; (2)若接收矢量,试计算出其对应得伴随式并按照最小距离 译码准则 试着对其译码、 (二) 一、填空题(共15分,每空1分) 1、信源编码得主要目得就是 ,信道编码得主要目得就是。 2、信源得剩余度主要来自两个方面,一就是 ,二就是。 3、三进制信源得最小熵为 ,最大熵为。 4、无失真信源编码得平均码长最小理论极限制为。 5、当时,信源与信道达到匹配。 6、根据信道特性就是否随时间变化,信道可以分为与。 7、根据就是否允许失真,信源编码可分为与。 8、若连续信源输出信号得平均功率为,则输出信号幅度得概 率密度就是时,信源具有最大熵,其值为值。 9、在下面空格中选择填入数学符号“”或“” (1)当X与Y相互独立时,H(XY) H(X)+H(X/Y) H(Y)+H(X)。 (2) (3)假设信道输入用X表示,信道输出用Y表示。在无噪有损 信道中,H(X/Y) 0, H(Y/X) 0,I(X;Y) H(X)。 三、(16分)已知信源 (1)用霍夫曼编码法编成二进制变长码;(6 分) (2)计算平均码长;(4分) (3)计算编码信息率;(2分)信息论与编码试题集与答案
信息论与编码期末考试题(全套)