当前位置：文档库 › 信息论》试卷(期末)(B2卷)

信息论》试卷(期末)(B2卷)

《信息论基础》试卷第1页

一、填空题（共25分，每空1分）

1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞

-∞

?→∞

-??

）

2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。

3、无记忆信源是指信源先后发生的符号彼此统计独立。

4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短

码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效

率) 。

5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编

码。

6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。

7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为

高斯分布(或

()0,1x N

或

x -)时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或

lg 22

e π)。 8、即时码是指任一码字都不是其它码字的前缀。

9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或

()

lg H s r

)，此时编码效率为 1 ，编

码后的信息传输率为 lg r bit/码元。

《信息论基础》试卷第2页

10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。

11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不

均匀性。

12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m

个不同的状态。

13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比

特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。

14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<”

H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

二、(5分)已知信源的概率密度函数为()1

0a x b p x b a ?≤≤?

=-???其他

，计算信源的相对熵。

()()()

c a

H x p x dx p x =?------3分

()lg b a =-bit/自由度-------2分

三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz ，信道噪声为高斯白噪声。

(1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。

(2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？ (3)如果信道带宽降为0.5MHz ，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？ 1)

()10lg 1NR c S =+------3分 64.3910=?b/s---1分 2)

()

610 1.2710lg 1NR c

S =

=?+Hz---3分

《信息论基础》试卷第3页

21c NR S =-=440----3分

四、(16分)已知信源共7个符号消息，其概率空间为

()1

2345670.2

0.17

0.2

0.17

0.15

0.10

0.01S s s s s s s s P x ????

=??????

试用霍夫曼编码法编成二进制变长码。并计算信源熵、平均码长、编码后的信息传输率、编码信息率和编码效率。要求写出详细的编码过程和计算过程。

2 01 S1 0.22 00 S

3 0.23 111 S2 0.173 110 S

4 0.173 101 S

5 0.154 1001 S

6 0.104 1000 S

7 0.01

0.20.11

0.150.170.170.20.260.17

0.170.20.20.340.2

0.20.260.26

0.340.40.60.4

1.0

------6分

2.71i i i L P τ===∑位----2分

()7

log 2.61i i i H s P P ===∑bit/符号--------2分

2log 2.71R r τ==’bit/码字--------2分

()

20.963log H s r

ητ=

=----------2分

()

0.963H s R τ

=bit/码元--------2分

五、(16分)设一个离散无记忆信源的概率空间为

()120.5

0.5X a a P x ????

=??????

?? 它们通过干扰信道，信道输出端的接收符号集为Y =[b 1,b 2]，已知信源传输概率如下图所示。

X1 X2

0.98

0.8

0.020.2

试计算：

(1)信源X中事件x1和x2分别含有的自信息量；(2分)

(2)收到y j(j=1,2)后，获得的关于x1的信息量；(2分)

(3)信源X的信息熵；(2分)

(4)条件熵H(Y∣x1)，H(Y∣x2)；(2分)

(5)共商H(XY)、信道疑义度H(X∣Y)和噪声熵H(Y∣X)；(6分)

(6)收到消息Y后获得的关于信源X的平均信息量。(2分)

P(x,y)

Y1Y2 0.44 0.01 0.1 0.4

(1)I(x1)=-log0.5=1bit------1分

I(x2)=-log0.5=1bit------1分

(2)I(x1;y1)=lg0.831/0.5(或=lg0.98/0.59)=0.733-------1分

I(x1;y2)=lg0.024/0.5(或=lg0.02/0.41)=-4.38-------1分

(3)H(x)=H(0.5,0.5)=1bit/符号------2分

(4)H(y︱x1)=H(0.98,0.02)=0.142bit/符号-----1分

H(y︱x2)=H(0.8,0.2)=0.722bit/符号-----1分

(5)H(y)=H(0.59,0.41)=0.977

H(xy)=H(0.49,0.01,0.1,0.4)=1.432bit/二符号------2分

H(x︱y)=H(xy)-H(y)=0.455bit/符号------2分

H(y︱x)=H(xy)-H(x)=1.432-1=0.432bit/符号-----2分

(6)I(x;y)=H(x)+H(y)-H(xy)=0.545bit/符号------2分

六、(12分)设某信道的传递矩阵为

《信息论基础》试卷第4页

《信息论基础》试卷第5页

12361116231113

2P ???????

?=??????????

(1)若输入符号P (x 1)=P (x 2)=1/4，P (x 3)=1/2，求H (X ∣Y )和I (X ;Y )。 (2)计算该信道的信道容量，并说明达到信道容量的最佳输入概率分布。

(1)-----写出公式2分 H(X ︱Y)=()

()log i

p x y p x

y -

∑∑，I(X;Y)=H(X)-H(X ︱Y)

()()()11x

p y p x p y x =∑=1/3，同理：p (y 2

)=7/24，p (y 3

)=3/8

--------计算过程4分

()()()()

1111111133

4218

p x p y x p x y p y =

=??= 同理：p (x 1︱y 2)=2/7，p (x 1︱y 3)=1/9

p (x 2︱y 1)=1/8，p (x 2︱y 2)=3/7，p (x 2︱y 3)=2/3 p (x 3︱y 1)=1/2，p (x 3︱y 2)=2/7，p (x 3︱y 3)=2/3

H(X)=-2×(1/4)log(1/4)-(1/2)log(1/2)=1.5 bit/symbol ------最终答案2分 H(X ∣Y)=

()()()log X

p x p y x p x y -≈∑∑ 1.383bit/symbol

I(X;Y)=H(X)-H(X ∣Y)≈0.117 bit/symbol (2)对称离散信道

C=logS-H(p 的行矢量)-----判断公式3分

=log3-H(1/2,1/3,1/6)≈0.126bit/symbol---答案1分输入等概时，达到信道容量。-----说明2分

七、(16分)有一个二元二阶马尔可夫信源，其信源符号集为{0,1}，初始概率大小为P(0)=1/3，P(1)=2/3。条件概率定为

P(0∣00)= P(1∣11)=0.8 P(1∣00)= P(0∣11)=0.2

P(0∣01)= P(0∣10)= P(1∣01)= P(1∣10)=0.5

《信息论基础》试卷第6页

(1)画出该信源的状态转移图。 (2)计算达到稳定状态的极限概率。 (3)该马尔可夫信源的极限熵H ∞。

(4)计算达到稳定后符号0和1的概率分布。解：(1)

1:0.8

----------4分

(2) ()0.80.20

0000.50.50.50.500000.20.8i i p E E ?????

?=??????

P(E 1)=0.8P(E 1)+0.5P(E 3) P(E 2)=0.2P(E 1)+0.5P(E 3) P(E 3)=0.5P(E 2)+0.2P(E 4) P(E 4)=0.5P(E 2)+0.8P(E 4) P(E 1)+P(E 2)+P(E 3)+P(E 4)=1

解得：P(E 1)=P(E 4)=5/14 P(E 2)=P(E 3)=2/14--------4分 (3)()()()44

211

log i j i j i i j H H p E p E E p E E ∞

====-∑∑=0.801bit/符号-----公式2分，答案

2分

(4)

()()()1

k i k i i p Q p E p Q E ==∑-----2分 p(1)=p(2)=1/2--------2分

《信息论基础》试卷第7页

信息论编码》模拟试题一及参考答案

模拟试题一一、概念简答题（共10题，每题5分） 1.简述离散信源和连续信源的最大熵定理。 2.什么是平均自信息（信息熵）？什么是平均互信息？比较一下两个概念的异同之处。 3.解释等长信源编码定理和无失真变长信源编码定理，说明对于等长码和变长码，最佳码的每符号平均码长最小为多少？编码效率最高可达多少？ 4.解释最小错误概率译码准则，最大似然译码准则和最小距离译码准则，说明三者的关系。 5.设某二元码字C={111000，001011，010110，101110}， ①假设码字等概率分布，计算此码的编码效率？ ②采用最小距离译码准则，当接收序列为110110时，应译成什么码字？ 6.一平稳二元信源，它在任意时间，不论以前发出过什么符号，都按发出符号，求

和平均符号熵 7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。 8.二元无记忆信源，有求：（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？

（2）求100个符号构成的信源序列的熵。 9.求以下三个信道的信道容量：，，10.已知一（3，1，3）卷积码编码器，输入输出关系为：

试给出其编码原理框图。二、综合题（共5题，每题10分） 1.二元平稳马氏链，已知P（0/0）=0.9，P（1/1）=0.8，求：（1）求该马氏信源的符号熵。（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。（3）求每符号对应的平均码长和编码效率。 2.设有一离散信道，其信道矩阵为，求：（1）最佳概率分布？

信息论试题1

《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog （b-a）bit/s. 5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论考题及答案

一、（25分）如果X 和Y 相互独立，证明X 和Y 的熵满足可加性，即 H(Y)H(X)Y)H(X,+= 证明：设P(x,y)=P(x)P(y),则有 1 H(X,Y)()()log P()()11()()log ()()log ()()11()log ()log ()() ()() xy xy xy x y P x P y x P y P x P y P x P y P x P y P x P y P x P y H X H Y ==+=+=+∑∑∑∑∑ 二、（50分）联合总体X ，Y 具有如下联合分布。 X Y 分别计算 (1) 联合熵H(X,Y)是多少？ (2)边缘熵H(X)和H(Y)是多少? (3)对于每一个y 值，条件熵H(X ︱y)是多少？ (4)条件熵H(X ︱Y)是多少？ (5)X 和Y 之间的互信息是多少？解答：(1) H(X,Y)=3.375 (2) H(X)=2, H(Y)=1.75 (3) H(X|y=1)=2,H(X|y=1)=1.875,H(X|y=1)=1.875, H(X|y=4)=0.5 (4)H(X|Y)=1.1264 (5)I(X;Y)=H(X)-H(X|Y)=2-1.1264=0.8736 三、（25分）考虑一个差错概率为f=0.15的二进制对称信道。输入总体为x Ω:{0P =0.9，1p =0.1}，假设观察到y=1，请计算(1|1)P x y ==？解： (1|1)P x y === (1|1)(1) (1|)() x P y x P x P y x P x ===∑= = 9.015.01.085.01 .085.0?+?? =22 .0085 .0=0.39

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解：！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量解：

信息论基础及答案

《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论基础》试卷(期末A卷

重庆邮电大学2007/2008学年2学期《信息论基础》试卷（期末）（A卷）（半开卷）一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X，其概率分布为 123 x x x X 111 P 244 ?? ?? ? = ?? ? ?? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是∞；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是 2Flog（b-a）bit/s. 5. 若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为1 log32e 2 π；与其熵相等的非高斯分布信源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r(S)）。 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论考试题

2009-2010学年第二学期末考试试题信息论与编码理论一、（共10分）简述最大熵原理与最小鉴别信息原理,并说明两者之间的关系。二、（共12分）某一无记忆信源的符号集为{0, 1}，已知P(0) = 1/4，P(1) = 3/4。 1) 求符号的平均熵； 2) 有100个符号构成的序列，求某一特定序列（例如有m个“0”和（100 - m）个“1”）的自信息量的表达式； 3) 计算2)中序列的熵。

三、（共12分）一阶马尔可夫信源的状态图如下图所示。信源X 的符号集为{0, 1, 2}。 1) 求平稳后信源的概率分布； 2) 求)(X H ； 3) 求上述一阶马尔可夫信源的冗余度。 P P

四、（共10分）设离散型随机变量XYZ 的联合概率满足xyz ?)()()()(y z p x y p x p xyz p =。求证：);();(Z Y X I Y X I ≥ 五、（共12分）设有一离散无记忆信道，输入信号为321,,x x x ，输出为321,,y y y ，其信道转移矩阵为???? ??????=214141412141414121Q ，61)(,32)(21==x P x P 。试分别按理想译码准则与最大似然译码准则确定译码规则，并计算相应的平均译码差错概率。

六、（共14分）设有一离散信道，输入X ，输出Y ，其信道转移矩阵为?? ????7.01.02.02.01.07.0，求：1）信道的信道容量及达到信道容量时的输入分布？ 2）当输入X 分布为7.0)(1=x P 3.0)(2=x P 时，求平均互信息);(Y X I 及信道疑义度)(X Y H 。

信息论试卷题目及标准答案

信息论试卷题目及答案

————————————————————————————————作者：————————————————————————————————日期： 2

中国海洋大学2008—2009学年第一学期一、填空题（每空2分，共20分） 1、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 2、信源编码的目的是提高通信的有效性。信道编码的最终目的是提高信号传输的可靠性。 3、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的N 倍。 4、对于香农编码、费诺编码和哈夫曼编码，编码方法惟一的是香农编码。 5、信道输入与输出间的平均互信息是信道转移概率的下凸函数，是输入概率的上凸函数。 6、信道矩阵??????10002/12/1代表的信道的信道容量C=符号/1bit ，达到信道容量的条件是输入符号等概分布。 7、设某二进制码｛00011，10110，01101，11000，10010，10001｝，则码的最小距离是2 ，假设码字等概分布，则该码的码率为 0.517比特/符号，这时若通过二元对称信道接收码字为01100和00110时，应译为01101 ， 10110 。。二、判断题（每题2分，共10分） 1、必然事件和不可能事件的自信息量都是0 。（错） 2、最大后验概率准则与最大似然准则是等价的。（错） 3、如果信息传输速率大于信道容量，就不存在使传输差错率任意小的信道编码。（对） 4、连续信源和离散信源的熵都具有非负性。（错） 5、相同功率的噪声中，高斯噪声使信道容量最小。（对）三、简答题（第1、2题各6分，第三题10分，共22分） 1、简述最大离散熵定理。对于一个有m 个符号的离散信源，其最大熵是什么？答：最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 (3分) 最大熵值为 m H 2max log = (3分) 2、对于任意概率事件集X 、Y 、Z ，证明下述三角不等式成立()()()Z X H Z Y H Y X H ≥+ 证：因为)|()|(Y X H YZ X H ≤ ，(3分) 所以： ) |()|()|() |,() |()|()|()|(Z Y H XZ Y H Z Y H Z Y X I YZ X H Z X H Y X H Z X H ≤-==-≤-(3分)

信息论与编码试卷及答案

一、概念简答题（每题5分，共40分） 1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？平均自信息为：表示信源的平均不确定度，表示平均每个信源消息所提供的信息量。平均互信息：表示从Y获得的关于每个X的平均信息量；表示发X前后Y的平均不确定性减少的量；表示通信前后整个系统不确定性减少的量。 2.简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。最大熵值为 3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？信息传输率R指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。 4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。数据处理定理为：串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。说明经数据处理后，一般只会增加信息的损失。

5.写出香农公式，并说明其物理意义。当信道带宽为5000Hz，信噪比为30dB时求信道容量。香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。由得，则 6.解释无失真变长信源编码定理。只要，当N足够长时，一定存在一种无失真编码。 7.解释有噪信道编码定理。答：当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8.什么是保真度准则？对二元信源，其失真矩阵，求a>0时率失真函数的和？答：1）保真度准则为：平均失真度不大于允许的失真度。 2）因为失真矩阵中每行都有一个0，所以有，而。二、综合题（每题10分，共60分） 1.黑白气象传真图的消息只有黑色和白色两种，求： 1）黑色出现的概率为0.3，白色出现的概率为0.7。给出这个只有两个符号的信源X的数学模型。假设图上黑白消息出现前后没有关联，求熵；

信息论试卷(期末)(B2卷)

一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 或22 x -)时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。

10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X) 二、(5分)已知信源的概率密度函数为()10a x b p x b a ?≤≤?=-???其他，计算信源的相对熵。 ()()() 1lg b c a H x p x dx p x =?------3分 ()lg b a =-bit/自由度-------2分三、(10分)一个平均功率受限的连续信道，信道带宽为1MHz ，信道噪声为高斯白噪声。 (1)已知信道上的信号与噪声的平均功率比值为20，计算该信道的信道容量。 (2)如果信道上的信号与噪声的平均功率比值降为10，要达到相同的信道容量，信道带宽应为多少？ (3)如果信道带宽降为0.5MHz ，要达到相同的信道容量，信道上的信号与噪声的平均功率比值应为多少？ 1) ()10lg 1NR c S =+------3分 64.3910=?b/s---1分 2) ()610 1.2710lg 1NR c S ==?+Hz---3分

信息论与编码期末考试题(全套)..

于信源爛H(X). () 2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集. () 3.—般情况下，用变长编码得到的平均码长比定长编码大得多. () 4.只要信息传输率大于信道容量，总存在一种信道编译码，可以以所要求的任意小的误差概率实现可靠的通信 . () 5.务码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.() &连续信源和离散信源的爛都具有非负性. () 7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息戢就越小. 8.汉明码是一种线性分组码. () 9.率失真函数的最小值是0 . () 10.必然事件和不可能事件的自信息量都是0 . () 二、填空题共6小题，满分20分. 1 、码的检、纠错能力取决于______________________________ . 2、___________________________________ 信源编码的目的是:信道编码的目的是____________________ . 3、把信息组原封不动地搬到码字前k位的(仏灯码就叫做___________________ ? 4、香农信息论中的三大极限建理是____________________ 、 ____________________ 、■ 5、耳信道的输入与输出随机序列分别为X和Y ,则 KX\Y N)=NI(X,Y)成立的条件______________________________ ? 6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是 O "，则该信源的Dmax= ________ a 0 三、本题共4小题，满分50分. K某信源发送端有2种符号x,i = 1,2), /心)=a：接收端有3种符号y r. () = 123),转移概率矩阵为 1/2 1/2 0 P = ? 1/2 1/4 1/4. (1)计算接收端的平均不确定度 (2)计算由于噪声产生的不确定度H(rix)： (3)计算信道容量以及最佳入口分布. 2、一阶马尔可夫信源的状态转移 (1) 求信源平稳后的概率分布： (2) 求此信源的燔： (3) 近似地认为此信源为无记忆时，符号的概率分布为稳分布?求近似信源的爛H(X)并与Hs进行比较. 4、设二元(7,4)线性分组码的生成矩阵为0 0 0 10 0 0 1 0 0 0 1 (1)给岀该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式： (2)若接收矢gv = (0001011),试讣算出其对应的伴随式S并按照最小距离译码准则试着对其译码. (二) 一、填空题(共15分，每空1分) 一、判断题共10小J满分20分. 1.当随机变量X和丫相互独立时，条件爛H(XI Y)等 7、某二元信源［爲冷打加其失真矩阵图如右图所示, 信源X的符号集为{0丄2}? 1 1 0 1 G = 1 1 0 1 1 0 1 0 1 0

信息论考试卷及答案分析

考试科目名称：信息论一. 单选（每空2分，共20分） 1.信道编码的目的是（C ），加密编码的目的是（D ）。 A．保证无失真传输 B．压缩信源的冗余度，提高通信有效性 C．提高信息传输的可靠性 D．提高通信系统的安全性 2.下列各量不一定为正值的是（D ） A．信源熵 B．自信息量 C．信宿熵 D．互信息量 3.下列各图所示信道是有噪无损信道的是（B ） A． B．

C． D． 4.下表中符合等长编码的是（ A ）

5.联合熵H（XY）与熵H（X）及条件熵H（X/Y）之间存在关系正确的是（A ） A．H（XY）＝H（X）＋H（Y／X） B．H（XY）＝H（X）＋H（X／Y） C．H（XY）＝H（Y）＋H（X） D．若X和Y相互独立，H（Y）=H（YX） 6.一个n位的二进制数，该数的每一位可从等概率出现的二进制码元（0， 1）中任取一个，这个n位的二进制数的自信息量为（C ） A．n2 B．1 bit C．n bit n D．2 7.已知发送26个英文字母和空格，其最大信源熵为H0 = log27 = 4.76比特/符号；在字母发送概率不等时，其信源熵为H1 = 4.03比特/符号；考虑字母之间相关性时，其信源熵为H2 = 3.32比特/符号；以此类推，极限熵H =1.5比特/符号。问若用一般传送方式，冗余度为（ B ）∞ A．0.32 B．0.68

C ．0.63 D ．0.37 8. 某对称离散信道的信道矩阵为，信道容量为（ B ） A ． )6 1 ,61,31,31(24log H C -= B ． )61 ,61,31,31(4log H C -= C ． )61 ,61,31,31(2log H C -= D ． )6 1 ,31(2log H C -= 9. 下面不属于最佳变长编码的是（ D ） A ．香农编码和哈夫曼编码 B ．费诺编码和哈夫曼编码 C ．费诺编码和香农编码 D ．算术编码和游程编码二. 综合（共80分） 1. （10分）试写出信源编码的分类，并叙述各种分类编码的概念和特性。（1分）将信源消息分成若干组，即符号序列xi ， xi ＝(xi1xi2…xil …xiL)， { 非分组码分组码 { 奇异码非奇异码 { 非唯一可译码唯一可译码 { 非即时码即时码（非延长码）码（5分）

信息论与编码期中试卷及答案

信息论与编码期中试题答案一、（10’）填空题（1）1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。（2）必然事件的自信息是 0 。（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 N倍。（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为__信源符号等概分布_。（5）若一离散无记忆信源的信源熵H（X）等于2.5，对信源进行等长的无失真二进制编码，则编码长度至少为 3 。二、（10'）判断题（1）信息就是一种消息。（?）（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。（√）（3）概率大的事件自信息量大。（?）（4）互信息量可正、可负亦可为零。（√）（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。（?）（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。（√）（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。（?）（8）信源变长编码的核心问题是寻找紧致码（或最佳码）。（√）（9）信息率失真函数R(D)是关于平均失真度D的上凸函数. ( ? ) 三、（10'）居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？解：设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则 P(A)=0.25 p(B)=0.5 p(B|A)=0.75 （5分）故 p(A|B)=p(AB)/p(B)=p(A)p(B|A)/p(B)=0.75*0.25/0.5=0.375 （4分） I(A|B)=-log0.375=1.42bit （1分）四、（10'）证明：平均互信息量同信息熵之间满足 I(X;Y)=H(X)+H(Y)-H(XY) 证明：

(整理)信息论期末考试试题1.

安徽大学2011—2012学年第1学期《信息论》考试试卷（AB 合卷）院/系年级专业姓名学号一、填空题 1、接收端收到y 后，获得关于发送的符号是x 的信息量是。 2、香农信息的定义。 3、在已知事件z Z ∈的条件下，接收到y 后获得关于事件x 的条件互信息(;|)I x y z 的表达式为。 4、通信系统模型主要分成五个部分分别为：。 5、研究信息传输系统的目的就是要找到信息传输过程的共同规律，以提高信息传输的可靠性、有效性、和，使信息传输系统达到最优化。 6、某信源S 共有32个信源符号，其实际熵H ∞=1.4比特/符号，则该信源剩余度为。 7、信道固定的情况下，平均互信息(;)I X Y 是输入信源概率分布()P x 的型凸函数。信源固定的情况下，平均互信息(;)I X Y 是信道传递概率(|)P y x 的型凸函数。 8、当信源与信道连接时，若信息传输率达到了信道容量，则称此信源与信道达到匹配。信道剩余度定义为。 9、已知信源X 的熵H (X )=0.92比特/符号,则该信源的五次无记忆扩展信源X 5的信息熵 5()H X = 。

10、将∞H ，6H ，0H ，4H ，1H 从大到小排列为。 11、根据香农第一定理，对于离散无记忆信源S ，用含r 个字母的码符号集对N 长信源符号序列进行变长编码，总能找到一种无失真的唯一可译码，使每个信源符号所需平均码长满足：。 12、多项式剩余类环[]())q F x f x 是域的充要条件为。 13、多项式剩余类环[](1)n q F x x -的任一理想的生成元()g x 与1n x -关系为。 14、有限域12 2F 的全部子域为。 15、国际标准书号（ISBN ）由十位数字12345678910a a a a a a a a a a 组成（诸i a ∈11F ，满足： 10 1 0(mod11)i i ia =≡∑），其中前九位均为0-9，末位0-10，当末位为10时用X 表示。《Handbook of Applied Cryptography 》的书号为ISBN ：7-121-01339- ，《Coding and Information Theory 》的书号为ISBN ：7-5062-3392- 。二、判断题 1、互信息(;)I x y 与平均互信息(;)I X Y 都具有非负性质。（） 2、离散信源的信息熵是信源无失真数据压缩的极限值。（） 3、对于无噪无损信道，其输入和输出有确定的一一对应关系。（） 4、对于有噪无损信道，其输入和输出有确定的一一对应关系。（） 5、设有噪信道的信道容量为C ，若信息传输率R C >，只要码长n 足够长，必存在一种信道编码和相应的译码规则，使译码平均错误概率E P 为任意小。反之，若R C <则不存在以R 传输信息而E P 为任意小的码。（） 6、在任何信息传输系统中，最后获得的信息至多是信源所提供的信息。如果一旦在某一

信息论与编码试题集与答案(新)

1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 -1.6 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝ 0.5 ，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 7. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（√ ） 2. 线性码一定包含全零码。（√ ） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 5. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 6. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（√ ） 7. 循环码的码集中的任何一个码字的循环移位仍是码字。（√ ） 8. 信道容量是信道中能够传输的最小信息量。（×） 9. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 10. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方法叫做最佳译码。（√ ）

信息论基础理论与应用考试题及答案

信息论基础理论与应用考试题一﹑填空题（每题2分，共20分） 1.信息论研究的目的就是要找到信息传输过程的共同规律，以提高信息传输的（可靠性）﹑（有效性）﹑保密性和认证性，使信息传输系统达到最优化。（考点：信息论的研究目的） 2.电视屏上约有500×600=3×510个格点，按每点有10个不同的灰度等级考虑，则可组成5 31010?个不同的画面。按等概计算，平均每个画面可提供的信息量约为（610bit /画面）。（考点：信息量的概念及计算） 3.按噪声对信号的作用功能来分类信道可分为（加性信道）和（乘性信道）。（考点：信道按噪声统计特性的分类） 4.英文电报有32个符号（26个英文字母加上6个字符），即q=32。若r=2，N=1，即对信源S 的逐个符号进行二元编码，则每个英文电报符号至少要用（5）位二元符号编码才行。（考点：等长码编码位数的计算） 5.如果采用这样一种译码函数，它对于每一个输出符号均译成具有最大后验概率的那个输入符号，则信道的错误概率最小，这种译码规则称为（最大后验概率准则）或（最小错误概率准则）。（考点：错误概率和译码准则的概念） 6.按码的结构中对信息序列处理方式不同，可将纠错码分为（分组码）和（卷积码）。（考点：纠错码的分类） 7.码C=｛（0，0，0，0），（0，1，0，1），（0，1，1，0），（0，0，1，1）｝是（（4， 2））线性分组码。（考点：线性分组码的基本概念） 8.定义自信息的数学期望为信源的平均自信息量，即（11()log ()log ()()q i i i i H X E P a P a P a =??==-????∑）。

信息论与编码期末试卷

上海大学2011～2012学年度冬季学期试卷（A卷）课程名:信息论与编码课程号: 07276033学分: 4 应试人声明：我保证遵守《上海大学学生手册》中的《上海大学考场规则》，如有考试违纪、作弊行为，愿意接受《上海大学学生考试违纪、作弊行为界定及处分规定》的纪律处分。应试人应试人学号应试人所在院系题号 1 2 3 4 得分——————————————————————————————————————一：填空题(每空2分，共40分) 1：掷一个正常的骰子，出现‘5’这一事件的自信息量为________,同时掷两个正常的骰子，‘点数之和为5’这一事件的自信息量为___________.（注明物理单位） 2：某信源包含16个不同的离散消息，则信源熵的最大值为___________,最小值为_____________. 3：信源X经过宥噪信道后，在接收端获得的平均信息量称为______________. 4：一个离散无记忆信源输出符号的概率分别为p(0)=0.5,p(1)=0.25,p(2)=0.25,则由60个符号构成的消息的平均自信息量为__________. 5：信源编码可提高信息传输的___有效___性，信道编码可提高信息传输的___可靠_性. 6:若某信道的信道矩阵为 ? ? ? ? ? ? ? ? ? ? ? ? 001 100 010 100 ，则该信道为具有____归并____性能的信道 7：根据香农第一定理（定长编码定理）若一个离散无记忆信源X的信源熵为H(X)，对其n个符号进行二元无失真编码时，其码字的平均长度必须大于____________ 8：若某二元序列是一阶马尔科夫链，P(0/0)=0.8，P(1/1)=0.7，则‘0’游程长度为4的概率为____________,若游程序列为312314，则原始的二元序列为_________. 9:若循环码的生成多项式为1 ) (2 3+ + =x x x g，则接收向量为（1111011）的伴随多项式为_______________ 10:对有32个符号的信源编4进制HUFFMAN码，第一次取_______个信源进行编码. 11:若一个线性分组码的所有码字为：00000,10101,01111,11010，则该码为（____,_____）,该码最多可以纠正_______位错误，共有________陪集. 12：码长为10的线性分组码若可以纠正2个差错,其监督吗至少有__5____位. 13：（7,4）汉明码的一致校验矩阵为 ? ? ? ? ? ? ? ? ? ? 1,0,1,0,1, ,1 0,1,1,0,0, ,1 0,0,0,1,1, ,1 3 2 1 r r r ，则3 2 1 r r r 为__________. _______________________________________________________________ 草稿纸成绩

信息论与编码期末考试题----学生复习用

《信息论基础》参考答案一、填空题 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或()22 212x f x e σπσ -= 时，信源具有最大熵，其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。（2）()() 1222H X X H X =≥()()12333 H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码试题集与答案(新)

" 1. 在无失真的信源中，信源输出由 H (X ) 来度量；在有失真的信源中，信源输出由 R (D ) 来度量。 2. 要使通信系统做到传输信息有效、可靠和保密，必须首先信源编码，然后_____加密____编码，再______信道_____编码，最后送入信道。 3. 带限AWGN 波形信道在平均功率受限条件下信道容量的基本公式，也就是有名的香农公式是log(1)C W SNR =+；当归一化信道容量C/W 趋近于零时，也即信道完全丧失了通信能力，此时E b /N 0为 dB ，我们将它称作香农限，是一切编码方式所能达到的理论极限。 4. 保密系统的密钥量越小，密钥熵H (K )就越小，其密文中含有的关于明文的信息量I (M ；C )就越大。 5. 已知n ＝7的循环码4 2 ()1g x x x x =+++，则信息位长度k 为 3 ，校验多项式 h(x)= 3 1x x ++ 。 6. ? 7. 设输入符号表为X ＝{0，1}，输出符号表为Y ＝{0，1}。输入信号的概率分布为p ＝(1/2，1/2)，失真函数为d (0，0) = d (1，1) = 0，d (0，1) =2，d (1，0) = 1，则D min ＝ 0 ，R (D min )＝ 1bit/symbol ，相应的编码器转移概率矩阵[p(y/x )]＝1001?? ???? ；D max ＝，R (D max )＝ 0 ，相应的编码器转移概率矩阵[p(y/x )]＝1010?? ? ??? 。 8. 已知用户A 的RSA 公开密钥(e,n )=(3,55)，5,11p q ==,则()φn = 40 ，他的秘密密钥(d,n )＝(27,55) 。若用户B 向用户A 发送m =2的加密消息，则该加密后的消息为 8 。二、判断题 1. 可以用克劳夫特不等式作为唯一可译码存在的判据。（） 2. 线性码一定包含全零码。（） 3. 算术编码是一种无失真的分组信源编码，其基本思想是将一定精度数值作为序列的编码，是以另外一种形式实现的最佳统计匹配编码。（×） 4. " 5. 某一信源，不管它是否输出符号，只要这些符号具有某些概率特性，就有信息量。（×） 6. 离散平稳有记忆信源符号序列的平均符号熵随着序列长度L 的增大而增大。（×） 7. 限平均功率最大熵定理指出对于相关矩阵一定的随机矢量X ，当它是正态分布时具有最大熵。（） 8. 循环码的码集中的任何一个码字的循环移位仍是码字。（） 9. 信道容量是信道中能够传输的最小信息量。（×） 10. 香农信源编码方法在进行编码时不需要预先计算每个码字的长度。（×） 11. ！ 12. 在已知收码R 的条件下找出可能性最大的发码i C 作为译码估计值，这种译码方