当前位置：文档库 › 信息论第6章

信息论第6章

第六章信息率失真理论

第一节基本概念

前面我们通过信源编码和信道编码解决了信息传输的有效性和可靠性问题。但这些都是在保证信息传输不失真的前提下进行的。而在实际系统中，噪声是不可避免的，系统误差也是客观存在的，信宿在接收信号时也有一定的阈值，当信号的变化量小于阈值时，信宿就觉察不到了。鉴于这些情况，完全不失真地传输(包括存贮)信息，几乎是不可能的，而且也是没必要的。因此往往需要事先对信息进行处理，并允许有一定的失真。例如，A/D变换就有失真；图像压缩编码和语音压缩编码都将产生一定的失真。有所“失”才能有所“得”，但要失得其所，不能做无谓的牺牲。我们就是要在得与失之

178

179 间寻求一种平衡，在保证失真不要过度的前提下，尽可能地提高信息系统的有效性，这就是信息率失真理论所要研究的基本问题，也是本章所要讨论的问题。

具体在压缩编码时，就是要在一定的失真度要求下，恰当地选择失真方案，对信源发出的消息进行失真处理，以便用最少的符号来表示尽可能多的消息。这与前面所说的信源编码一样，都是为了解决信息传输的有效性问题。所不同的是以前不允许有失真，而现在允许有一定的失真，以

便获得更大的数据压缩率。下面通过一个简单的例子来说明。例6-1 设信源等概发送4

个消息，即X ={x 1，x 2，x 3，

x 4}，P (X ) = { p 1，p 2，p 3，p 4}={1/4，1/4，1/4，1/4} . 在不允许失真的情况下,因为信图6-1 两种失真方案

x x x x y 1 y 3

失真方案A

x 1 x x x y 3

y 1 失真方案B 0

源的熵为：

H(X) = log4=2 bit/消息

根据信源编码定理，对该信源进行二进制编码时，平均码长不小于2码元/消息。

若允许有一半的消息产生失真，即错误概率为50%. 那么为了压缩代码长度，应该选择一种好的失真方案，使得失真后的消息集Y具有尽可能小的熵。确切地说，应该是Y 中的每一个消息所提供的关于信源X的平均信息量最小。实际上是互信息量最小。这一点我们将在第三节予以说明。

注：在实际压缩过程中，有的是先压缩后编码，这时Y为X的复制品，是压缩后的消息集；有的是把压缩和编码一并完成，这时Y为压缩后的代码集；有的是直接把消息与符号对应，这时Y又可称为符号集。编码器的数学模型可参见第三章图3-1.

下面给出两种失真方案来进行比较，如图6-1所示。图中用1和0表示失真和不是真。

180

失真方案A：设下标为奇数的消息不失真，即x1 = y1 ，x3 = y3 ；而下标为偶数的消息失真后变为下标比它小1的消息，即

x=x1=y1，x4=x3=y3. 这样，失真后的消息集2

为Y={ y1，y3}，其概率分布为P(Y) = {1/2，1/2}. 它的熵为：

H(Y) = log 2=1 bit/消息

根据信源编码定理，对Y进行二进制编码时，平均码长可压缩到1码元/消息，数据量压缩了50% .

失真方案B：仍设x1，x3不失真，即x1=y1，x3=y3；而另外两个消息都失真为y3，即x2= y3，x4= y3. 设失真后的消息集为Y′={y1，y3}，其概率分布为P(Y′) = {1/4，3/4} . 它的熵为H(Y′)=－(1/4) log (1/4)－(3/4) log( 3/4)

= 0.811 bit/消息

根据信源编码定理，对Y′进行二进制编码时，平均码长可压缩到0.811码元/消息。数据量可压缩将近60% , 比方案A要好一

181

些。

可见在同样的失真度要求下，选择不同的失真方案可以得到不同的压缩率。那么还能不能找到更好的压缩方案？数据压缩的极限是多少？本章将逐一解答这些问题。

第二节失真函数

为了定量地分析数据压缩的极限，首先必须定量地描述信息失真的大小。因为失真度直接影响到数据压缩率。可以想象，当失真度为0时，X = Y，压缩率为0；随着失真度的增大，数据压缩率也会增大。

在简单的情况下，失真大小可以用差值来计算。比如在例6-1中，设X = {x1 , x2 , x3 , x4} = {0 , 1 , 2 , 3}则失真大小可表示为下面的函数：

d ij = |x i－x i|

当i=j时，d ij=0 ；当i≠j时，d i＞0 .比如：182

d34 = | x3－x4| = |2－3| = 1 ；

d14 = | x1－x4| = |0－3| = 3 .

在限定失真功率时，可用差值的平方来计算失真的大小：

d ij = (x i－x j)2

当I = j时，d i j = 0；当i≠j时，d i j＞0 . 比如：d34 = ( x3－x4)2 = (2－3)2 = 1 ；

d14 = ( x1－x4)2 = (0－3)2 = 9 .

在较复杂的情况下，还可以用较复杂的函数来计算。例如“8421码”，它的高位数码和低位数码所代表的权值不同。当高位发生误码时，产生的失真为23 = 8，当低位发生误码时，产生的失真为：20 = 1 . 对于第i位失真产生的误差大小为2i.

甚至有时失真不好用公式表示，只好人为地规定一个数值。例如“王”失真为“黄”字失真大小如何表示呢？

为此，我们定义一个二元实函数d(x , y)≥0(简记为d xy或d ij),来表示用符号y复制消息

183

184 x 所产生的失真。用d 的大小表示失真的大小。称d 为失真函数或失真测度。特例1 设消息集X ={x 1,x 2},符号集Y = {y 1, y 2}，当X = Y ，即：x 1 = y 1，x 2 = y 2时，可取失真函数

特例2 当x 和y 均为实数时，可取失真函数

d (x , y ) = (x －y )2

用Y 表示X 所产生的平均失真为： (6-1)

式中Q (y /x )就是信道转移概率p (x /y ) . 在特例1 中，平均失真为：

p e 为平均错误概率。

在特例2中，平均失真为：

???≠==.,

1,,0),(y x y x y x d ∑∑≠===y

x e

y x p x y Q x p y x d x y Q x p Q d )/()(),()/()()(,2,2))(/()()(n

x y x x y Q x p Q d σ∑=-=[]

),(),()/()()(,y x d E y x d x y Q x p Q d y x ==∑

185 σn 2为平均失真功率或平均噪声功率。

由于平均失真与信道转移概率Q (y /x )有关，因此可采用研究信道的方法来研

究失真问题。图6-2给出了

特例1的失真函数线图。同样还可用失真矩阵给出失真函数。特例1的失真矩阵为：矩阵中任一元素d ij 表示当信源消息为x i 而复制它的符号为y j 时的失真函数。

第三节信息率失真函数

一. 信息率失真函数的定义

当给定信源X 的概率分布P (x )之后，可以选择符号集Y 中的符号来表示相应的消息，Y 的概率分布为P (y ) . 当允许有一定的失真??????=??????=01102221

1211d d d d D 图6-2 失真函数线图

x 1x 2y 2

y 1

186 时，由Y 所提供的关于X 的信息量，可用互信息量来表示，即

其中P 为信源概率分布，Q 为信道转移概率。在第二章附录2-5中已经证明了，当给定了信源概率分布之后，I (x ; y )是Q (y /x )的凹函数。

可见前面所说的“恰当地选择失真方案”实际上就是恰当地选择信道转移概率Q ，使I (x ;y )达到最小值，并确保平均失真d (Q )不要超过给定值δ . 为此我们给出如下定义。定义信息率失真函数R (δ)是在给定信源概率分布P (x )和平均失真d (Q )≤δ的前提下，用Y 来表示X 时，平均互信息量的最小值。即：

(6-2)

信息率失真函数又简称率失真函数。它的∑==y x y p x y Q x y Q x p Q P I Y X I ,)()/(log )/()();();({}{}符号/bit );(min );(min )()()(Q P I Y X I R Q d Q d δδδ≤≤==

187 意义是，在用Y 来复制X 的时候，尽量节省信息量(符号量或数据量)，但不能失真太大，保证平均失真d (Q )≤δ . 就好比是一个画家给别人画像一样。一个好的漫画家只需寥寥数笔，就能抓住人物的特征，画得很像。画得像不像的标准就相当于我们所给定的允许失真度δ；画画的技巧就相当于失真方案的选择或转移概率Q 的选择；所谓“寥寥数笔”的含意也和尽量节省信息量(符号量或数据量)的含意相似。

二. 率失真函数的性质

图6-3给出

了R (δ)的典型曲线。

1. 单减性

R (δ)是δ的单

图6-3 R (δ)的典型曲线

H (X 0 δmax δ2 δmin δ1 0.8 0.6 0.4

0.2 1.0

188 减凹函数，δ≥δmin . 当δmin = 0时，有R (0) = H (X ) .

2.连续性R (δ)是δ的连续函数，δ≥δmin .

3. R (δ) = 0，当且仅当δ≥δma x . 其中δmin 与δma x 的定义式如下：

(6-3)

(6-4) 称δmin 为最小失真度。即对每一个x ，选择一个失真最小的代码y ，然后取统计平均值，从而得到δmin .

称δma x 为最大失真度。是使R (δ) = 0时的失真度，并在满足I (x ; y ) = 0的条件下，取Y 集合中所有δ值的最小值。证：

1.单减性对任意δ2＞δ1≥δmin ，有从而 ∑=X Y x,y d x p )

(m in )(δmin ∑=X

Y max x,y d x p )()(m in δ{}{}

21)(:)(:δδ≤?≤Q d Q Q d Q )();(min );(min )(1)()(212δδδ

δR Q P I Q P I R Q d Q d =≤=≤≤

即在较大范围内找到的I (P; Q)的最小值，总不会大于在较小范围找到的I (P; Q)的最小值。

凹性对任意δ1,δ2≥δmin，存在Q1及Q2, 满足d(Q1)≤δ1，d(Q2)≤δ2，以及

I(P;Q1) = R(δ1), I(P;Q2) = R(δ2) .

令Q = (Q1＋Q2)/2 . 由于d(Q) = [d(Q1)＋d(Q2)]/2 ≤(δ1＋δ2)/2

所以Q是R[(δ1＋δ2)/2]的试验转移概率。从而，有I(P;Q)≥R[(δ1＋δ2)/2] .

另外，由于I(P;Q)是Q的凹函数，所以R [(δ1＋δ2) /2]≤I(P;Q) = I [P;(Q1＋Q2)

/2]

≤[I (P;Q1)＋I(P＋Q2)] /2 = [R (δ1)＋R

(δ2)] /2

这就表明，R(δ)是δ的凹函数(δ≥δmin) . 当δ= 0时，即不允许失真，因此X与Y是一一对应的关系。所以

I (X; Y) = H (X) = H (Y) .即R (0) = H (X) .

189

190 2.连续性当δ＞δmin 时，由凹函数的一般性质可知，R (δ)在δ点连续。下面只需证，R (δ)在δ=δmin 处右连续。即证

为此，对任意一列δ1 ,δ2 ,…,δn ≥δmin 存在一列Q 1,Q 2…，使I (P ;Q j ) = R (δj )，且 d (Q j )≤δj , j =1,2,….

由连续函数的一般性质，有

又由

知

于是这表示，)()(lim min min δδδδR R =→，从而R (δ)在

δ=δmin 点右连续。

3.下面证R (δ)=0 的充要条件是δ≥δmax . 必要性设R (δ) = 0，必存在Q , 使 min lim δδ=∞

→n n )();(min δR Q P I ≥)()(lim );(lim );(min δδR R Q P I Q P I j j j j ≤==∞

→∞→min )(lim )(δ≤=∞→j j Q d(Q d )()(lim );(min δδR R Q P I j j ==∞

→

191 I (X ; Y ) = I (P ; Q ) = 0, 且d (Q )≤δ 又因为当且仅当X , Y 相互独立时I (X ; Y ) = 0 .所以

又由δ≥d (Q )知，δ≥δmax .

充分性由R (δ)的单减性知，只需证R (δmax ) = 0即可。为此设y 0∈Y ,满足令

这样，显然有I (P ; Q 0) = 0，且

(证毕)

第四节率失真函数R (δ) 的计算

由率失真函数的定义知，R (δ)是在满足平均失真函数d (Q )≤δ的条件下，所需平均互max ),()(m in ),()()(),()()()(δ∑∑∑∑=≥==X X Y Y X,Y y x d x p y x d x p y p y x d y p x p Q d ∑=X y x d x p )

,()(0max δ???==.,0,,1)/(00否则y y x y Q X x ∈?.

),()()(max 00δ==∑X y x d x p Q d

192 信息量的最小值。因此，这是条件最小值问题。又知I (P ; Q )是关于Q 的凹函数，所以此问题又变成为条件极小值问题。可以采用Lagrange 乘子法来求。

已知互熵的计算公式为：

(6-5)

约束条件为：

(1) (6-6)

(2) (6-7)

作修正函数：

(6-8) 其中：μ(x )及s 为待定乘子。

为方便，记m = | X |，n = | Y |，即m ，n 分别为X ，Y 中的元素个数。

令

(6-9)

∑=XY y p y/x Q y/x Q x p P;Q I )()(ln )()()(∑∈?≥=Y X x ,y/x Q ,y/x Q 0)(1)(.,)()()(max min ∑≤≤≤XY

xy d y/x Q x p δδδδ∑∑∑--=X Y XY x,y d y/x Q x p s y/x Q x P;Q I Φ)()()()()()(μXY

x,y ,y/x Q Φ∈?=??)(0)(

193

联立式 (6-6)，(6-7)，(6-9) ，共有 (mn ＋m ＋1)个方程，恰好可以确定Q (y / x ) ,μ(x ) 和s ，共(mn ＋m ＋1)个未知数。

上述思想在理论上是可行的，但在实际中却难以解决，不过它给出了有益的思路。为了详细表达式(6-9)，将式(6-8)改写为 (6-10)

其中： μ(x ) = p (x ) ln λ(x ) ，

即： ln λ(x ) =μ(x ) / p (x ) (6-11) 由式(6-9)，(6-10)可得：

(6-12)

为便于推导，先改写式(6-10)：

∵ (6-13) ∑∑??????-=Y X y x sd y p x y/x Q y/x Q x p Φ),()()()(ln )()(λ0)()()()(ln )()(=??????-=??x,y sd y p x y/x Q x p y/x Q Φλ∑∑∑≠≠??

????-+??????-+??????-=''')','()'()'()''(ln )''()'(),'()()'()'(ln )()'(),()()()(ln )()(x y y x

x y x sd y p x λ/x y Q /x y Q x p y x sd y p x λy/x Q y/x Q x p y x sd y p x y/x Q y/x Q x p Φλ

194 其中第三项不含Q (y|x ), 第二项只在p (y )中含Q (y|x )，于是：

(6-14)

注：由式(6-9)和(6-14)便得到式(6-12)，再由式(6-12)解得：

(6-15)

此式关于y 求和得： (6-16) 式(6-15)两边乘以p (x ),再关于x 求和得： (6-17) ??????-=??

????-++??????-=??????-+??????-++??????-=??∑∑≠),()()()(ln )()()()'()'()(),()()()(ln )()()()'()'()()()(1)()(),()()()(ln )()(''y x sd y p x y/x Q x p y p x p y/x Q x p x p y x sd y p x y/x Q x p y p x p y/x Q x p y p x p y/x Q y/x Q x p y x sd y p x y/x Q x p y/x p Φx x x λλλ{}),0)(,(),(exp )()()/(Y y x p X x y x Sd y p x x y Q ∈>∈=λ()1),(exp )()(-??????=∑y y x sd y p x λ())

0)(,(,),(exp )()(1>∈=∑y p Y y y x sd x p x x λ)(,)()()(),()()(X x x p y/x p x p y/x Q x p y p x ∈=??∴

=∑

195

由式(6-16)，(6-17)得：

(6-18) 这是一组关于p (y )的方程组，共有n 个方程，且恰有n 个未知数。解出p (y )后代入式(6-16)求出λ(x )，再带入式(6-15)便得Q (y/x ),(x ∈X , y ∈Y ) . 但此时Q 是s 的函数，再利用式(6-7)，将s 转换为δ，最终得到试验转移概率的“稳定点”Q ，它是δ的函数，将Q 代入I (P ; Q)中得极小值R (δ), 便是所求的率失真函数。

但式(6-18)是关于P ( y )的超越方程，求解不易，可用下面的定理将R (δ )的计算推导为能用手工计算的形式。

定理6-1 给定无记忆信源X , P (X )，失真函数d (x , y )和允许失真度δ , 且失真后的集合为Y . 那么率失真函数可表示为： (6-19) ()())0)(,(,1),(exp )(),(exp )(>∈=∑∑y p Y y y x sd y p y x sd x p x y

??????+=∑∧∈≤x s x x p s R S

)(ln )(m ax )(,0λδδλ

196 其中：

(6-20)

证：首先，对s ≤0,λ∈∧s ,及试验转移概率Q :d (Q )≤δ , 有

由基本不等式ln x ≥(1－1/x )及式(6-20)，上式化为

(6-21)

由此便得：对s ≤0 , λ∈∧S , d (Q )≤δ , 有

(6-22)

()??????≤∈=∧∑1),(exp )()(:),(y x sd x p x X x x x S λλ()∑∑∑∑∑-=--=--≥--y x y x y x y x x y p x y x sd x y Q x y Q x p x x y Q x p y x d x y Q x p s Q P I x x y Q x p Q sd Q P

I x x p s Q P I ,,,,)()(),(exp )/(ln )/()()

(ln )/()(),()/()();()(ln )/()()();()

(ln )();(λλλλδ()()0)(1),(exp )()()(1),(exp )/()()(1)/()()

(log )();(,,=-≥?-=??

?????-≥--∑∑∑∑y

y x y x x y p y x sd x y p x p y x sd x y Q y p x x y Q x p x x p s Q P I λλλδ∑+≥x

x x p s δQ P I )

(log )();(λ

197 从而对任意s ≤0 , λ∈∧S , 有

(6-23)

(6-24)

下面再证相反的不等式： (6-25) 为此，设Q ( y / x )达到了R (δ)，即

d (Q ) =δ, I (P ; Q ) = R (δ) (6-26) 则此时的Q 必是前面式(6-8)中Φ的“稳定点”，它必满足式(6-12).在理论上存在一系列参数s ，λ(x )，由它们能得到Q ，并符合式(6-12)～(6-18). 于是可由式(6-12)得： (6-27) 进而得到：

(6-28)

由于已假定Q 适合式(6-26)，所以

∑+≥=≤x Q d x x p s δQ P I R )(log )();(m in )()(λδδ??????+≥∑∧∈≤x S x x p s δR S )(log )(m ax )(,0λδλ?

?????+≥∑∧∈≤x S x x p s δR S )(log )(m ax )(,0λδλ0),()()()/(log )/()(,=??????-∑y x y x sd y p x x y Q x y Q x p λ[]∑∑∑+=+=y x x y

x y x d x y Q x p s x x p y x sd x log x y Q x p Q P I ,,),()/()()(log )(),()()/()();(λλ

信息论基础各章参考答案

各章参考答案 2．1．（1）4.17比特；（2）5.17比特；（3）1.17比特；（4）3.17比特 2．2． 1.42比特 2．3．（1）225.6比特；（2）13.2比特 2．4．（1）24.07比特；（2）31.02比特 2．5．（1）根据熵的可加性，一个复合事件的平均不确定性可以通过多次实验逐步解除。如果我们使每次实验所获得的信息量最大。那么所需要的总实验次数就最少。用无砝码天平的一次称重实验结果所得到的信息量为log3,k 次称重所得的信息量为klog3。从12个硬币中鉴别其中的一个重量不同（不知是否轻或重）所需信息量为log24。因为3log3=log27>log24。所以在理论上用3次称重能够鉴别硬币并判断其轻或重。每次实验应使结果具有最大的熵。其中的一个方法如下：第一次称重：将天平左右两盘各放4枚硬币，观察其结果：①平衡 ②左倾 ③右倾。ⅰ）若结果为①，则假币在未放入的4枚币，第二次称重：将未放入的4枚中的3枚和已称过的3枚分别放到左右两盘，根据结果可判断出盘中没有假币；若有，还能判断出轻和重，第三次称重：将判断出含有假币的三枚硬币中的两枚放到左右两盘中，便可判断出假币。ⅱ）若结果为②或③即将左盘中的3枚取下，将右盘中的3枚放到左盘中，未称的3枚放到右盘中，观察称重砝码，若平衡，说明取下的3枚中含假币，只能判出轻重，若倾斜方向不变，说明在左、右盘中未动的两枚中其中有一枚为假币，若倾斜方向变反，说明从右盘取过的3枚中有假币，便可判出轻重。（2）第三次称重类似ⅰ）的情况，但当两个硬币知其中一个为假，不知为哪个时, 第三步用一个真币与其中一个称重比较即可。对13个外形相同的硬币情况.第一次按4,4,5分别称重,如果假币在五个硬币的组里,则鉴别所需信息量为log10>log9=2log3,所以剩下的2次称重不能获得所需的信息. 2．6．（1）215 log ＝15比特；（2） 1比特；（3）15个问题 2． 7. 证明：（略） 2．8．证明：（略） 2．9． 31)(11= b a p ，121 )(21=b a p ， 121 )(31= b a p ， 61)()(1312= =b a b a p p ， 241)()()()(33233222= ===b a b a b a b a p p p p 。 2．10．证明：（略） 2．11. 证明：（略）

朱雪龙《应用信息论基础》习题第三章答案

第三章习题答案 3.1 解： 3.2 解： (1) ?? ???≠==? ?????=?? ?????≤??? ??-??? ??-???? ???????????≤---+-=? ?????≤+∞04m o d 004m o d )43()41(4104141l o g 43l o g 043l o g 4341l o g 4143l o g )(41l o g ),(100)()(log 4344000000N N C N n P N n P N n N n P n N n U H N U P P N N N 则上式变为的个数为，则出现的个数为设该序列中出现时 δδ (2) ?? ???≤-=∑-k N k k C k k N k k N 没有满足上述条件的满足概率为同样可推得典型序列的时 03log 20141)43()41(05.0δ 3.3 0.469 bit/sample 3.4 1) 不妨设)20,0(2j j k j k M <≤≥+=，可进行如下编码：首先作一深度为j i K i i i N N N N N P P U H U H X X X P U H X X X P N log )())(exp(),(lim )(),(log 1lim 12121∑=∞→∞→-=-=∴-=其中

的二叉满树，并在j 2个叶子节点中取k 个节点，以这k 个节点为根节点，生成k 个深度为1的子树，于是得到了一个有 M k k j =-+22个叶子的二叉树，对此二叉树的叶子按Halfman 方法进行编码，即得到最优的二元即时码。 2）M M k j k j M k j M I 2log 212)1(1=+=??+?+?= 当且仅当k=0，即j M 2=时，M I 2log = 3.5 解：不妨设i u ( i =…-2,-1,0,1,2, …) 取自字母表{1a ，2a …n a }，设一阶转移概率为 ????????????nn n n n n P P P P P P P P P 2 12222111211，所以在当前码字j u 进行编码时，由k j a u =-1，对j u 可能的取值，依概率分布(kn k P P 1) 进行Halfman 编码，即是最佳压缩方案。 3.6 0.801 bit/sample 3.7 1) 7 6 bit/sample 2) P(1)= 72 P(2)=73 P(3)=72 如按无记忆信源进行编码，则根据信源所处的的1，2，3三个状态对应编码成00，1，01。平均码长为：72×2+73×1+72×2=7 11 bit/sample 如果按马尔可夫信源进行编码：状态1时：a →0, b →10, c →11 状态2时：a →0, b →1 状态3时：无需发任何码字 ∴平均码长： 76072)121121(73)241241121(72=?+?+??+?+?+?? bit/sample 3.8 x 22j I -+= 3.9 1) H(X) = －（plog p+qlog q ） bit/sample H(Y)= －（plog p+qlog q ） bit/sample

信息论与编码复习题目

信息论复习提纲第一章绪论 1．通信系统模型； 2．香浓信息的概念； 3．信源、信道、信源编码和信道编码研究的核心问题。第二章离散信源及信源熵 1．离散信息量、联合信息量、条件信息量、互信息量定义； 2．信源熵、条件熵、联合熵定义； 3．平均互信息量定义、性质、三种表达式及物理意义，与其它熵的关系（不证明）； 4．最大信源熵定理及证明； 5．本章所有讲过的例题；第三章离散信源的信源编码 1．信息传输速率、编码效率定义； 2．最佳编码定理（即节定理：概率越大，码长越小；概率越小，码长越大）及证明； 3．码组为即时码的充要条件； 4．单义可译定理（Kraft不等式）及应用； 5．费诺编码方法、霍夫曼编码方法应用（二进制，三进制，四进制）；6．本章所有讲过的例题；第四章离散信道容量 1．利用信道矩阵计算信道容量（离散无噪信道、强对称离散信道、对称离

散信道、准对称离散信道）； 2．本章讲过的例题；第五章连续消息和连续信道 1．相对熵的定义； 2．均匀分布、高斯分布、指数分布的相对熵及证明； 3．峰值功率受限条件下的最大熵定理及证明，平均功率受限条件下的最大熵定理及证明，均值受限条件下的最大熵定理及证明； 4．香农公式及意义； 5．本章所有讲过的例题；第六章差错控制 1．重量、最小重量、汉明距离、最小汉明距离、编码效率的定义；2．最小距离与检错、纠错的关系（即节定理）； 3．本章所有讲过的例题；第七章线性分组码 1．线性分组码定义； 2．线性分组码的最小距离与最小重量的关系及证明； 3．生成矩阵、一致校验矩阵定义，给出线性方程组求出生成矩阵和一致校验矩阵的标准形式，生成矩阵与一致校验矩阵的关系； 4．制作标准阵列并利用标准阵列译码； 5．本章所有讲过的例题；第八章循环码 1．生成多项式的特点，有关定理（三定理1，定理2，定理3）及证明；

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(36 1 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： * (3)信源空间： bit x H 32.436log 36 16236log 36215)(=??+?? =∴

bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== ? 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解：！ bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率 bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知 bit AB P AB P AB H AB P AB I AB P AB i i i i i i i 14.11)4748log()(log )()() (log )(47 1 481)()3(47481 =?=-=-=∴?=∑?=是同时落入某两格的概率从大量统计资料知道,男性中红绿色盲的发病率为7%,女性发病率为%.如果你问一位男士：“你是否是红绿色盲”他的回答可能是：“是”，也可能“不是”。问这两个回答中各含有多少信息量平均每个回答中各含有多少信息量如果你问一位女士，则她的答案中含有多少平均信息量解：

信息论基础及答案

《信息论基础》试卷第1页《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞-∞ ?→∞ --?? ） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x - )时，信源具有最大熵，其值为 0.6155hart(或 1.625bit 或 1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论与编码习题与答案第四章

4-1 设有一个二元等该率信源{}1,0∈X ,2/110==p p ，通过一个二进制对称信道（BSC ）。其失真函数ij d 与信道转移概率ij p 分别定义为 j i j i d ij =≠???=,0,1 ，j i j i p ij =≠? ??-=,1,εε 试求失真矩阵d 和平均失真D 。解：由题意得，失真矩阵为d ??????=0110d ，信道转移概率矩阵为P ?? ????--=εεεε11)(i j 平均失真为ε εεεε=?-+?+?+?-= =∑0)1(211211210)1(21),()()(,j i d i j p i p D j i 4-3 设输入符号与输出符号X 和Y 均取值于{0,1,2,3}，且输入符号的概率分布为P(X=i)=1/4,i=0,1,2,3,设失真矩阵为 ????? ???????=0111101111011110d 求)(),(,,max min max min D R D R D D 以及相应的编码器转移概率矩阵。解：由题意，得 0min =D 则symbol bit X H R D R /24log )()0()(2min ==== 这时信源无失真，0→0,1→1,2→2,3→3，相应的编码器转移概率矩阵为

????? ???????=1000 010*********)j (i P ∑===30 3,2,1,0max ),()(min i j j i d i p D ，，14 1141041141141141141041min{?+?+?+??+?+?+?= }04 1141141141141041141141?+?+?+??+?+?+?， 43}43,43,43,43min{== 则0)(max =D R 此时输出概率分布可有多种，其中一种为：p(0)=1,p(1)=p(2)=p(3)=0 则相应的编码器转移概率矩阵为????? ???????=0001000100010001)(i j P

(完整版)信息论与编码概念总结

第一章 1.通信系统的基本模型: 2.信息论研究内容：信源熵，信道容量，信息率失真函数，信源编码，信道编码，密码体制的安全性测度等等第二章１.自信息量：一个随机事件发生某一结果所带的信息量。２.平均互信息量：两个离散随机事件集合X 和Y ，若其任意两件的互信息量为 I （Xi;Yj ），则其联合概率加权的统计平均值，称为两集合的平均互信息量，用I （X;Y ）表示３.熵功率：与一个连续信源具有相同熵的高斯信源的平均功率定义为熵功率。如果熵功率等于信源平均功率，表示信源没有剩余；熵功率和信源的平均功率相差越大，说明信源的剩余越大。所以信源平均功率和熵功率之差称为连续信源的剩余度。信源熵的相对率(信源效率)：实际熵与最大熵的比值信源冗余度： 0H H ∞=ηη ζ-=1

意义：针对最大熵而言，无用信息在其中所占的比例。３.极限熵：平均符号熵的N 取极限值，即原始信源不断发符号，符号间的统计关系延伸到无穷。４. ５.离散信源和连续信源的最大熵定理。离散无记忆信源，等概率分布时熵最大。连续信源，峰值功率受限时，均匀分布的熵最大。平均功率受限时，高斯分布的熵最大。均值受限时，指数分布的熵最大６.限平均功率的连续信源的最大熵功率：称为平均符号熵。定义：即无记忆有记忆N X H H X H N X H X NH X H X H X H N N N N N N )() ()()()()()(=≤∴≤≤

若一个连续信源输出信号的平均功率被限定为p ，则其输出信号幅度的概率密度分布是高斯分布时，信源有最大的熵，其值为 1log 22 ep π.对于N 维连续平稳信源来说，若其输出的N 维随机序列的协方差矩阵C 被限定，则N 维随机矢量为正态分布时信源的熵最大，也就是N 维高斯信源的熵最大，其值为1log ||log 222N C e π+ 7.离散信源的无失真定长编码定理：离散信源无失真编码的基本原理原理图说明：（1）信源发出的消息：是多符号离散信源消息，长度为L,可以用L 次扩展信源表示为： X L =(X 1X 2……X L ) 其中，每一位X i 都取自同一个原始信源符号集合（n 种符号）： X={x 1，x 2，…x n } 则最多可以对应n L 条消息。（2）信源编码后，编成的码序列长度为k,可以用k 次扩展信宿符号表示为： Y k =(Y 1Y 2……Y k ) 称为码字/码组其中，每一位Y i 都取自同一个原始信宿符号集合： Y={y 1，y 2，…y m } 又叫信道基本符号集合（称为码元，且是m 进制的）则最多可编成m k 个码序列，对应m k 条消息定长编码：信源消息编成的码字长度k 是固定的。对应的编码定理称为定长信源编码定理。变长编码：信源消息编成的码字长度k 是可变的。 8.离散信源的最佳变长编码定理最佳变长编码定理：若信源有n 条消息，第i 条消息出现的概率为p i ，且 p 1>=p 2>=…>=p n ，且第i 条消息对应的码长为k i ，并有k 1<=k 2<=…<=k n

信息论与编码第一章答案

第一章信息论与基础 1.1信息与消息的概念有何区别？信息存在于任何事物之中,有物质的地方就有信息，信息本身是看不见、摸不着的，它必须依附于一定的物质形式。一切物质都有可能成为信息的载体，信息充满着整个物质世界。信息是物质和能量在空间和时间中分布的不均匀程度。信息是表征事物的状态和运动形式。在通信系统中其传输的形式是消息。但消息传递过程的一个最基本、最普遍却又十分引人注意的特点是：收信者在收到消息以前是不知道具体内容的；在收到消息之前，收信者无法判断发送者将发来描述何种事物运动状态的具体消息；再者，即使收到消息，由于信道干扰的存在，也不能断定得到的消息是否正确和可靠。在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具，载荷信息的载体。显然在通信中被利用的（亦即携带信息的）实际客体是不重要的，而重要的是信息。信息载荷在消息之中，同一信息可以由不同形式的消息来载荷；同一个消息可能包含非常丰富的信息，也可能只包含很少的信息。可见，信息与消息既有区别又有联系的。 1.2 简述信息传输系统五个组成部分的作用。信源：产生消息和消息序列的源。消息是随机发生的，也就是说在未收到这些消息之前不可能确切地知道它们的内容。信源研究主要内容是消息的统计特性和信源产生信息的速率。信宿：信息传送过程中的接受者，亦即接受消息的人和物。编码器：将信源发出的消息变换成适于信道传送的信号的设备。它包含下述三个部分：(1)信源编码器：在一定的准则下，信源编码器对信源输出的消息进行适当的变换和处理，其目的在于提高信息传输的效率。(2)纠错编码器：纠错编码器是对信源编码器的输出进行变换，用以提高对于信道干扰的抗击能力，也就是说提高信息传输的可靠性。(3)调制器：调制器是将纠错编码器的输出变换适合于信道传输要求的信号形式。纠错编码器和调制器的组合又称为信道编码器。信道：把载荷消息的信号从发射端传到接受端的媒质或通道，包括收发设备在内的物理设施。信道除了传送信号外，还存储信号的作用。译码器：编码的逆变换。它要从受干扰的信号中最大限度地提取出有关信源输出消息的信息，并尽可能地复现信源的输出。 1.3 同时掷一对骰子，要得知面朝上点数之和，描述这一信源的数学模型。解：设该信源符号集合为X

信息论基础7答案

《信息论基础》参考答案一、填空题（共15分，每空1分） 1、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 2、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号的统计不均匀性。 3、三进制信源的最小熵为0，最大熵为32log bit/符号。 4、无失真信源编码的平均码长最小理论极限制为信源熵（或H(S)/logr= H r (S)）。 5、当R=C 或（信道剩余度为0）时，信源与信道达到匹配。 6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。 7、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 8、若连续信源输出信号的平均功率为2σ，则输出信号幅度的概率密度是高斯分布或正态分布或( )22 2x f x σ-时，信源具有最大熵，其值为值21 log 22 e πσ。 9、在下面空格中选择填入数学符号“,,,=≥≤?”或“?” （1）当X 和Y 相互独立时，H （XY ）=H(X)+H(X/Y)=H(Y)+H(X)。（2）()() 1222 H X X H X =≥() ()12333H X X X H X = （3）假设信道输入用X 表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

信息论与编码习题参考答案

1.6为了使电视图象获得良好的清晰度和规定的对比度，需要用5×105个像素和10个不同的亮度电平，并设每秒要传送30帧图象，所有的像素是独立的，且所有亮度电平等概出现。求传输此图象所需要的信息率（bit/s ）。解： bit/s 104.98310661.130)/)(()/(R bit/frame 10661.1322.3105)(H 105)(H bit/pels 322.310log )(log )()(H 76650510 10?=??=?=∴?=??=??====∑=frame bit X H s frame r x X a p a p x i i i 所需信息速率为：每帧图像的熵是：每个像素的熵是：，由熵的极值性：由于亮度电平等概出现 1.7设某彩电系统，除了满足对于黑白电视系统的上述要求外，还必须有30个不同的色彩度。试证明传输这种彩电系统的信息率要比黑白系统的信息率大 2.5倍左右。证: . 5.2,,5.25.2477.210 log 300log )(H )(H pels /bit 300log )(log )()(H bit 3001030,10,,3001300 11倍左右比黑白电视系统高彩色电视系统信息率要图形所以传输相同的倍作用大信息量比黑白电视系统彩色电视系统每个像素每个像素的熵是：量化所以每个像素需要用个亮度每个色彩度需要求下在满足黑白电视系统要个不同色彩度增加∴≈====∴=?∑=x x b p b p x i i i Θ 1.8每帧电视图像可以认为是由3×105个像素组成，所以像素均是独立变化，且每像素又取128个不同的亮度电平，并设亮度电平是等概出现。问每帧图像含有多少信息量？若现在有一个广播员，在约10000个汉字中选1000个字来口述这一电视图像，试问若要恰当地描述此图像，广播员在口述中至少需要多少汉字？解: 个汉字最少需要数描述一帧图像需要汉字每个汉字所包含信息量每个汉字所出现概率每帧图象所含信息量556 6 5 5 10322.6/10322.61 .0log 101.2)()()()(,log H(c):1.010000 1000 symble /bit 101.2128log 103)(103)(: ?∴?=-?=≥ ≤-=∴== ?=??=??=frame c H X H n c nH X H n p p x H X H 1.9 给定一个概率分布 ) ,...,,(21n p p p 和一个整数m ， n m ≤≤0。定义 ∑=-=m i i m p q 1 1，证明： )log(),,...,,(),...,,(2121m n q q p p p H p p p H m m m n -+≤。并说明等式何时成立？证： ∑∑+==- -=>-=<-=''-=''∴>- =''-=''>-=n m i i i m i i i n p p p p p p p H x x x x f x e x x x f x x e x x x f x x x x f 1 121log log ),...,,( )0(log )( 0log )log ()(0 log )log ()()0(log )(ΘΘ又为凸函数。即又为凸函数，如下：先证明时等式成立。当且仅当时等式成立。当且仅当即可得：的算术平均值的函数，函数的平均值小于变量由凸函数的性质，变量n m m m m m n m m m i i i m m m m m m i i i n m i i i m i i i n n m m m m m n m i i i m m n m i i n m i i n m i i n m i i n m i i i p p p m n q q p p p H p p p H q q p p q p p p H m n q q q p p p p p p p p p H p p p m n q q q p p m n q q m n p m n p m n m n p f m n m n p f m n p p ===-+≤--=-+--≤- -=∴===-+-≤- --=----=---≤---=- ++==+==+++=+=+=+=+=+=∑∑∑∑∑∑∑∑∑ ∑...)log(),,...,,(),...,,(log log ),,...,,() log(log log log log ),...,,(...) log(log log log log )()()() ()(log 2121211 211 1 1 21211 1111 1 ΘΘ 2.13把n 个二进制对称信道串接起来，每个二进制对称信道的错误传输概率为p(0

信息论与编码试题集与答案(新)

一填空题（本题20分，每小题2分） 1、平均自信息为表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。平均互信息表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。

6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。按照信息的地位，可以把信息分成客观信息和主观信息。人们研究信息论的目的是为了高效、可靠、安全地交换和利用各种各样的信息。信息的可度量性是建立信息论的基础。统计度量是信息度量最常用的方法。熵是香农信息论最基本最重要的概念。事物的不确定度是用时间统计发生概率的对数来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用随机矢量描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为其发生概率对

数的负值。 12、自信息量的单位一般有比特、奈特和哈特。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于两个自信息量之和。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量趋于变小。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H 。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ）。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度均匀分布时连续信源熵具有最大值。 23、对于限平均功率的一维连续信源，当概率密度高斯分布时，信源熵有最大值。 24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P 和信源的熵功率P 之比。

信息论基础答案2

《信息论基础》答案一、填空题（共15分，每空1分） 1、若一连续消息通过某放大器，该放大器输出的最大瞬时电压为b,最小瞬时电压为a。若消息从放大器中输出，则该信源的绝对熵是无穷大；其能在每个自由度熵的最大熵是log b-a 。 2、高斯白噪声信道是指信道噪声服从正态分布，且功率谱为常数。 3、若连续信源的平均功率为 5 W,则最大熵为1.2 Iog10 e ，达到最大值的条件是高斯信道。 4、离散信源存在剩余度的原因是信源有记忆（或输岀符号之间存在相关性）和不等概。 5、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 6、离散无记忆信源在进行无失真变长信源编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码,对概率小的符号用长码,这样平均码长就可以降低，从而提高编码效率。 7、八进制信源的最小熵为0 ，最大熵为3bit 。 8、一个事件发生概率为，则自信息量为3bit 。 9、在下面空格中选择填入数字符号“，，，”或“ <” H XY 二HY HXY HY H X 二、判断题（正确打"，错误打X）（共5分，每小题1分） 1）离散无（"）记忆等概信源的剩余度为0 。 2) 离散无记忆信源N次扩展源的熵是原信息熵的N倍(") 3) 互信息可正、可负、可为零。 (") 4) 信源的真正功率P 永远不会大于熵功率P ，即P P (X ) 5) 信道容量与信源输出符号的概率分布有关。 (X ) 、（5分）已知信源的概率密度函数p x如下图所示，求信源的相对熵

* p x 0.5 4 h x 2 p x log p x dx 1bit自由度四、（15分）设一个离散无记忆信源的概率空间为P x 0.5 0.5 它们通过干扰信道，信道输出端的接收信号集为丫= 示。试计算：（1）信源X中事件x的自信息量；（3分）（2）信源X的信息熵；（3分）（3）共熵H XY ; （ 3 分）（4）噪声熵H Y X ；（3分）（5）收到信息丫后获得的关于信源X的平均信息量。（1）I x11bit （2）H丄，丄1bit/符号 2 2，已知信道出书概率如下图所（3 分）

信息论与编码习题参考答案(全)

信息论与编码习题参考答案第一章单符号离散信源同时掷一对均匀的子，试求： (1)“2和6同时出现”这一事件的自信息量； (2)“两个5同时出现”这一事件的自信息量； (3)两个点数的各种组合的熵； (4)两个点数之和的熵； (5)“两个点数中至少有一个是1”的自信息量。解： bit P a I N n P bit P a I N n P c c N 17.536log log )(361 )2(17.418log log )(362)1(36 662221111 616==-=∴====-=∴== =?==样本空间： (3)信源空间：

bit x H 32.436log 36 16236log 36215)(=??+?? =∴ (4)信源空间： bit x H 71.3636 log 366536log 3610 436log 368336log 366236log 36436log 362)(=??+?+?+??= ∴＋＋ (5) bit P a I N n P 17.111 36 log log )(3611333==-=∴== 如有6行、8列的棋型方格，若有两个质点A 和B ，分别以等概落入任一方格内，且它们的坐标分别为（Xa ，Ya ）, （Xb ，Yb ）,但A ，B 不能同时落入同一方格内。（1）若仅有质点A ，求A 落入任一方格的平均信息量；（2）若已知A 已落入，求B 落入的平均信息量；（3）若A ，B 是可辨认的，求A ，B 落入的平均信息量。解： bit a P a P a a P a I a P A i 58.548log )(log )()(H 48log )(log )(481 )(:)1(48 1 i i i i i ==-=∴=-=∴= ∑=落入任一格的概率Θ bit b P b P b b P b I b P A i 55.547log )(log )()(H 47 log )(log )(47 1 )(:B ,)2(48 1i i i i i ==-=∴=-=∴=∑=落入任一格的概率是落入任一格的情况下在已知Θ

信息论基础1答案

《信息论基础》答案一、填空题（本大题共10小空，每小空1分，共20分） 1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。 2.一个八进制信源的最大熵为3bit/符号 3.有一信源X ，其概率分布为 123x x x X 111P 2 44?? ?? ?=?? ??? ?? ，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是 15bit 。 4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b ，最小瞬时电压为a 。若消息从放大器中输出，则该信源的绝对熵是 ∞ ；其能在每个自由度熵的最大熵是log （b-a ） bit/自由度；若放大器的最高频率为F ，则单位时间内输出的最大信息量是 2Flog （b-a ）bit/s. 5. 若某一信源X ，其平均功率受限为

16w，其概率密度函数是高斯分布时，差熵的最大值为1log32e π；与其熵相等的非高斯分布信2 源的功率为16w ≥ 6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。 7、无失真信源编码的平均码长最小理论极限 (S)）。制为信源熵（或H(S)/logr= H r 8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。 9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。 10、在下面空格中选择填入数学符号“,,, =≥≤?”或“?” （1）当X和Y相互独立时，H（XY）=H(X)+H(X/Y)。（2）假设信道输入用X表示，信道输出用Y 表示。在无噪有损信道中，H(X/Y)> 0, H(Y/X)=0,I(X;Y)

王育民信息论与编码理论第四章答案2

4.5若将N 个相同的BSC 级联如题图4.5所示，各信道的转移概率矩阵为??????--p p p p 11。令Q t =P{X t =0}，t=0,1,…,N,且Q 0为已知。题图 4.5 (a)求Q t 的表达式。 (b)证明N →∞时有Q N →1/2，且与Q 0取值无关，从而证明N →∞级联信道的信道容量C N →0，P>0。解： (a)对于满足X N 为马氏链的串联信道，他们总的信道转移概率矩阵为各个串联信道矩阵的乘积，即P(X N |X 0)= P(X 1|X 0) P(X 2|X 1)……P(X N |X N-1) 由已知得，但各信道的转移概率矩阵为?? ?? ??--p p p p 11 则两个信道级联的转移概率矩阵为： P 2=??????--p p p p 11????? ?--p p p p 11=()()()()??????-+---+2222112p 12p 1p p p p p p 三个信道级联的转移概率矩阵为： P 3=()()()()???? ??????-+----+33331221211221211221211-2p 2121p p p 四个信道级联的转移概率矩阵为： P 4=()()()()???? ??????-+----+44441221211221211221211-2p 2121p p p 以此类推：可得N 个信道级联的转移概率矩阵为： P N =()()()()??????????-+----+N N N N p p p 122121122 1211221211-2p 2121 则 Q t =P{X t =0}=()()()()()000121221211122121122121Q p p Q p Q p t t t t -+--=-?? ????--+??????-+

信息论与编码第四章 (1)

信息论与编码第四章 4.5判断以下几种信道是不是准对称信道（1）?? ????3.02.05.05.03.02.0不是（2）???? ??????7.03.06.04.03.07.0不是（3）?? ????7.01.02.02.01.07.0是（4）?? ????6/13/13/16/16/16/13/13/1 是 4.7计算以下离散无记忆信道DMC 的容量及最佳分布（1）P=???? ??????---p p p p p p 101001 解：此为对称信道，达到C 需要等概，则该信道的最佳分布为： X q （X ） = x1 x2 x313 13 13 所以该信道的容量为：C=log 3+（1-p ）log(1?p)+p log p =log3-H 2（p ） (2)P=??????----2/)1(2/)1(2/2 /2/2/2/)1(2/)1(p p p p p p p p

解: 易得该信道为一个准对称信道，假定最佳分布为： X q （X ） = x1 x2 13 13 s1= (1?p)/2p/2p/2(1?p)/2 s2= (1?p)/2p/2p/2(1?p)/2 C=log k - N s *log M s -H =log 2-(1/2*log 1/2+1/2*log 1/2)+(1-p)log(1?p)/2+p log p =log2+(1-p)log(1?p)/2+p log p =log2-H 2（p ） (5)P= 132323 13 解: C=log 2+13×log 13+23×log 23 =0.083 4.10给定离散信道的信道转移概率矩阵P=????? ???????----q q q q p p p p 100100001001,计算其信道容量C 解:

朱雪龙《应用信息论基础》习题答案

信息论基础及答案

《信息论基础》试卷答案一、填空题（共25分，每空1分） 1、连续信源的绝对熵为无穷大。（或()()lg lim lg p x p x dx +∞ -∞?→∞ --??） 2、离散无记忆信源在进行无失真变长信源编码时，编码效率最大可以达到 1 。 3、无记忆信源是指信源先后发生的符号彼此统计独立。 4、离散无记忆信源在进行无失真变长编码时，码字长度是变化的。根据信源符号的统计特性，对概率大的符号用短码，对概率小的符号用长码，这样平均码长就可以降低，从而提高有效性(传输速率或编码效率) 。 5、为了提高系统的有效性可以采用信源编码，为了提高系统的可靠性可以采用信道编码。 6、八进制信源的最小熵为 0 ，最大熵为 3bit/符号。 7、若连续信源输出信号的平均功率为1瓦特，则输出信号幅度的概率密度函数为高斯分布(或()0,1x N 2 2 x -)时，信源具有最大熵，其值为 0.6155hart(或1.625bit 或1lg 22 e π)。 8、即时码是指任一码字都不是其它码字的前缀。 9、无失真信源编码定理指出平均码长的理论极限值为信源熵(或H r (S)或()lg H s r )，此时编码效率为 1 ，编码后的信息传输率为 lg r bit/码元。 10、一个事件发生的概率为0.125，则自信息量为 3bit/符号。 11、信源的剩余度主要来自两个方面，一是信源符号间的相关性，二是信源符号概率分布的不均匀性。 12、m 阶马尔可夫信源的记忆长度为 m+1 ，信源可以有 q m 个不同的状态。 13、同时扔出一对均匀的骰子，当得知“两骰子面朝上点数之和为2”所获得的信息量为 lg36=5.17 比特，当得知“面朝上点数之和为8”所获得的信息量为 lg36/5=2.85 比特。 14.在下面空格中选择填入的数学符号“=，≥，≤，>”或“<” H(XY) = H(Y)+H(X ∣Y) ≤ H(Y)+H(X)

信息论第6章

信息论基础各章参考答案

朱雪龙《应用信息论基础》习题第三章答案

信息论与编码复习题目

信息论与编码习题参考答案(全)

信息论基础及答案

信息论与编码习题与答案第四章

(完整版)信息论与编码概念总结

信息论与编码第一章答案

信息论基础7答案

信息论与编码习题参考答案

信息论与编码试题集与答案(新)

信息论基础答案2

信息论与编码习题参考答案(全)

信息论基础1答案

王育民信息论与编码理论第四章答案2

信息论与编码 第四章 (1)

朱雪龙《应用信息论基础》习题答案

信息论基础及答案

信息论与编码第四章 (1)