信息论基础答案2
《信息论基础》答案
一、填空题（共15分，每空1分）
1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。
若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最
大熵是log b-a 。
2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。
3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高
斯信道。
4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不
等概。
5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。
6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号
的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长
就可以降低，从而提高编码效率。
7、八进制信源的最小熵为0 ，最大熵为3bit 。
8、一个事件发生概率为，则自信息量为3bit 。
9、在下面空格中选择填入数字符号“，，，”或“ <”
H XY 二HY HXY HY H X
二、判断题（正确打"，错误打X）（共5分，每小题1分）
1）离散无（"）记忆等概信源的剩余度为0
。
2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(")
3) 互信息可正、可负、可为零。
(")
4) 信源的真正功率P 永远不会大于熵功率P ，即P P
(X )
5) 信道容量与信源输出符号的概率分布有关。
(X )
、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵
* p x
0.5
4
h x 2 p x log p x dx
1bit自由度
四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5
它们通过干扰信道，信道输出端的接收信号集为丫= 示。
试计算：
（1）信源X中事件x的自信息量；（3分）
（2）信源X的信息熵；（3分）
（3）共熵H XY ; （ 3 分）
（4）噪声熵H Y X ；（3分）
（5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit
（2）H丄，丄1bit/符号
2 2，已知信道出书概率如下图所
（3 分）
(3) H XY H 0.49,0.01 , 0.1, 0.4 1.432
（1）
(4) H X Y
H XY H X
0.432
I X,Y
H X H Y H X,Y (5)
1 H 0.59, 0.41
H XY
1 0.977 1.432
0.545
五、（10分）一个平均功率受限的连续信道，信道带宽为 声。
（1 ）已知信道上的信号与噪声的平均功率比值为
63,计算该信道的信道蓉量。
（2）如果信道带宽降为 2MHz ，要达到相同的信道容量，信道上的信号与噪声的平均
功率比值应为多少
P S 0.2 0.2 0.2 0.1 0.1 0.1 0.1
C Blog 2 1 §
N
（1
）
C 10
106 log 2 1
63
6 107bit/s
（2
）
-2专 N 1 230 1 109
六、 （10
分）
已知信源共 7个符号信息，其概率空间为
S
S-1 S 2 S 3 S 4 S 5
S
6
S 7
10MHz ，信道噪声为高斯白噪
(3) H XY H 0.49,0.01 , 0.1, 0.4 1.432
（1）试用霍夫曼编码法编成二进制变长码。（7分）（2）计算信源熵，平均码长和编码效率。（9分）
（1）
1
H S H 0.2, 0.2, 0.2, 0.1,0.1,0.1,0.1,
2.72
分）
求随机变量Y X 1 X 2的概率密度函数，并计算变量
丫的熵h 丫 。
已知 p X 1X 2 得
p X
1
X 1 2
2 e
p X 2
1
e X 2
2 2
（2 分） 则p X 1X 2
p X 1 p X 2
（2 分）
所以 X 1和X 2独立，所以 y 为咼斯分布
L 0.2 2 =H S 0.8 3
2.8码元/信源符号
0.97
（3分）
L
七、（10分）设给定两随机变量
X ! 和 X 2， 它们的联合概率密度为
p XX 2
1
X 12 x 2 2
e X,x
S i 0.2
S 2 0.2
S 3 0.2 s 4 0.1 S 5 0.1
Ss 0.1
S 7 0.1
0.4
0.6
1
0.2 0
0.4
1
0.2
0.1
S 1 00
S 010 S 3 011
S 4
100
55 101 56 110
57 111
（7 分）
（2）
2
因为y x
1X2
所以 E Y 0, D Y 2 （2分）
所以 1
py 4 e
y24 （2 分）所以h Y log 4 e bit /自由度（2）八、（10分）设某信道的传递矩阵为
1111
p 3 3 6 6
6 6 3 3
计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。解：s=4
C log s H p列矢量 4
log 2 H 1 1 1 1
3 3 6 6 （2
1 1
2 log - 1 1 log - 1 1 1 -log -
- log 1 0.0817bit/ 符号
3 3 3 3 6 6 6 6 分）
（2分）
最佳概率分布当输入概率p a1 P
a2 1
2
（2
分）
九、（14分）设有一个马尔可夫信源，如果X t为a时，X2为a、b、c的概率为1/3 ;如果X t为b时，X2为a、b、c的概率为1/3；如果X t为c时，X2为a、b的概率为1/2。
而且后面发X i的概率只与X i!有关，又P X i X i ! P X^ X! i 3。
（1）写出转移概率矩阵
（2）计算达到稳定后状态的极限概率。
（3）该马尔可夫信源的极限熵H
解（1）
1_ 1 1
3 3 3
P 1_ 1 1 （4分）
3 3 3
1 1 0
2 2
1 1 1 1
P E1 —P E1 -P E2 -P E3
3 3 2
P E
2 1 P
E1
耳E
2
^P E3
(2) 3 3 2
1 1
P E3 —P E1 P E2
3 3
P E1 P E 2 P E3 1
(3)
P E i P E2
3
H H2 P E I H a k E i
1
P E i H 1 1 1
3,3,3 P E2 H
H -,i,0
2 2
3 1
Iog3 log 2 1.439bit/ 符号
(3 分)