当前位置：文档库 › 信息论与编码理论-第3章信道容量-习题解答

信息论与编码理论-第3章信道容量-习题解答

第3章信道容量

习题解答

3-1 设二进制对称信道的转移概率矩阵为2/31/31/32/3??

????

解: (1) 若12()3/4,()1/4P a P a ==，求(),(),(|),(|)H X H Y H X Y H Y X 和

(;)I X Y 。

i i 2

i=1

3311

H(X)=p(a )log p(a )log()log()0.8113(/)4444bit -=-?-=∑符号

111121*********

j j j=1

32117

p(b )=p(a )p(b |a )+p(a )p(b |a )=43431231125

p(b )=p(a )p(b |a )+p(a )p(b |a )=434312

7755

H(Y)=p(b )log(b )=log()log()0.9799(/)

12121212bit ?+?=

?+?=

---=∑符号 22

i j j i j i j i ,H(Y|X)=p(a ,b )logp(b |a )p(b |a )logp(b |a )

2211

log()log()0.9183(/)

3333

i j

bit -=-=-?-?=∑∑符号

I(X;Y)=H(Y)H(Y|X)=0.97990.91830.0616(/)bit --=符号 H(X|Y)=H(X)I(X;Y)=0.81130.06160.7497(/bit --=符号)

(2)求该信道的信道容量及其达到信道容量时的输入概率分布。

二进制对称信息的信道容量

H(P)=-plog(p)-(1-p)log(1-p)

1122

C =1-H(P)=1+log()+log()=0.0817(bit/)

3333符 BSC 信道达到信道容量时，输入为等概率分布，即：{，} 注意单位

3-2 求下列三个信道的信道容量及其最佳的输入概率分布。

1b 2b 3b 3

a 2a 1a Y X 1

b 2b 3

a 2a 1a Y X 1

b 2b 2

a 1

a Y X 3

b 111

111

0.7

0.3

第一种：无噪无损信道，其概率转移矩阵为： 1 0 0P=0 1 00 0 1??

????????

信道容量：()

max (;)P X C I X Y @ bit/符号

()

max{(;)}max{()(|)}

(|)0

max{(;)}max{()}

p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==

离散无记忆信道(DMC)只有输入为等概率分布时才能达到信道容量，

C=log3=1.5850 bit/符号输入最佳概率分布如下：111,,333??

????

第二种：无噪有损信道，其概率转移矩阵为： 1 0P=0 10 1??

????????，离散输入信道， ()

()

max{(;)}max{()(|)}

(|)0

max{(;)}max{()}

p x p x p x p x C I X Y H Y H Y X H Y X C I X Y H Y ==-∴=∴==

H(Y)输出为等概率分布时可达到最大值，此值就是信道容量此时最佳输入概率：123p(a )+p(a )=0.5,p(a )=0.5 信道容量：C=log(2)=1 bit/符号第三种：有噪无损信道，由图可知：

()

max{(;)}max{()(|)}

(|)0

max{(;)}max{()}

p x p x p x p x C I X Y H X H X Y H X Y C I X Y H X ==-∴=∴==

输入为等概率分布时可达到信道容量，此时信道容量

p(x)

C=max{H(X)}=log(2)=1 bit/符号输入最佳概率分布：11,22??

????

3-3 设4元删除信道的输入量{1,2,3,4}X ∈，输出量{1,2,3,4,}Y E ∈，转移概率为

(|)1(|)1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε εP Y i X i P Y E X i ε

===-===????

???

????????

???????????????

其中1,2,3,4i = 1）该信道是对称DMC 信道吗 2）计算该信道的信道容量；

3）比较该信道与两个独立并联的二元删除信道的信道容量。（1）本通信过程的转移概率分布如下所示：

1-ε 0 0 0 ε0 1-ε 0 0 ε P=0 0 1-ε 0 ε0 0 0 1-ε ε?????

??????? 可以分解为两个矩阵： 1-ε 0 0 0 ε0 1-ε 0 0 ε p1= p2=0 0 1-ε 0 ε0 0 0 1-ε ε????

????

????????????????

可以看出该信道不是对称DMC 信道，它是准对称DMC 信道。（2）该信道的信道容量为：（直接套用准对称信道计算公式）

2log (|)log (|)log log (4)(1,)(1)log(1)log(4)

2(1)log(1)log()(1)log(1)log(4)1

2log()22(/)

j k j k s s

C n p b a p b a N M H bit εεεεεεεεεεεεεεεε=+-=------=+--+----=+=-∑∑符号（3）两个独立并联的二元删除信道其转移概率如下：

1-ε ε 00 ε 1-ε??????可以写成：1-ε 0 ε 0 1-ε ε ????

????????

与的形式

独立并联的二元信道的信道容量为两个信道容量的和。

其信道容量为：1(1-ε,ε )(1-ε)log(1-ε)εlog(2ε)=1-εC H =--- bit/符号两个独立并联和删除信道的信道容量=2C=22-ε bit/符号本信道的信道容量与两个并联删除信道信道容量相等。

3-4 设BSC 信道的转移概率矩阵为

12211Q εεεε-??=??-??

1）写出信息熵()H Y 和条件熵(|)H Y X 的关于1()H ε和2()H ε表达式，其中

()log (1)log(1)H εεεεε=----。

2）根据()H ε的变化曲线，定性分析信道的容道容量，并说明当12εε=的信道容量。

解：（1）设输入信号的概率颁布是{p,1-p}

111121212

()()(|)()(|)(1)(1)p b p a p b a p a p b a p p =?+?=?-ε+-?ε212122212()()(|)()(|)(1)(1)

p b p a p b a p a p b a p p =?+?=?ε+-?-ε

11221212121212()()log ()()log ()

[(1)(1)]log[(1)(1)][(1)(1)]log[(1)(1)][(1)(1)]

H Y p b p b p b p b p p p p p p p p H p p =--=-?-ε+-?ε?-ε+-?ε-?ε+-?-ε?ε+-?-ε=?-ε+-?ε

111222212(|)()(|)log (|)

[(1)log(1)1log()](1)[(1)log(1)log()]()(1)()

i j i j i i j H Y X p a p b a p b a p p p H p H ==-=-?-ε-ε+εε---ε-ε+εε=?ε+-?ε∑

（2）()H ε的变化曲线，是一个上凸函数，当输入等概率分布时达到信道

容量。

()

1212()

max{(;)}max{()(|)}

max{[(1)(1)]()(1)()}p x p x p x C I X Y H Y H Y X H p p p H p H ==-=?-ε+-?ε-?ε+-?ε

由于函数H （ε）是一个凸函数，有一个性质：

1212((1))()(1)()f f f θ?α+-θ?α≥θ?α+-θ?α

可知：C ≥0

假设12εε==ε时此信道是一个二元对称信道，转移概率分布为：

11Q ε-ε

ε??=??

ε-?? 信道容量：

121-log -(1-)log(1-)1-()

C H εεε

εεεεε==== 3-5 求下列两个信道的容量，并加以比较。

1-p-εp-ε2εp-ε1-p-ε2ε??

???? 12010

2p p p p ε

εεεεε---??

??---?

第一个：可以写成：1-p-ε p-εp-ε 1-p-ε????

??与2ε2ε??

????

11(1-p-ε,p-ε,2ε)(12ε)log(12ε)2εlog(4ε)C H =----- bit/符号

第二个：12010

2p p p p ε

εεε

εε---??

?---??

??????1-p-ε p-εp-ε 1-p-ε与2ε 00 2ε??

???

?两个对称形式

21(1-p-ε,p-ε,2ε,0)(12ε)log(12ε)2εlog(2ε)C H =-----bit/符

号

122ε<0C C -=-

所以：信道一的信道容量大于信道二的信道容量，信道容量的不增性。

3-6设信道前向转移概率矩阵为

000101Q p p p p ????=-??

??-??

1）求信道容量和最佳输入概率分布的一般表达式；

2）当0p =和1/2p =时，信道容量分别为多少并针对计算结果做出说明。（1）此信道为非对称信道，设输入概率分布为：

{}123123p ,p , p p +p + p 1=

输出概率分布为：

{}123123q ,q , q q +q + q 1=

[]111112123131231

2212122232312323331max (;)max[()(|)]

()()(|)()(|)()(|)100()()(|)()(|)()(|)0(1)(1)()()C I X Y H Y H Y X q p b p a p b a p a p b a p a p b a p p p p q p b p a p b a p a p b a p a p b a p p p p p p p p p

q p b p a ==-==?+?+?=?+?+?===?+?+?=?+?-+?=?-+?==?3123233312323(|)()(|)()(|)0(1)(1)

p b a p a p b a p a p b a p p p p p p p p p +?+?=?+?+?-=?+?-

122332323(|)()(|)log (|)

1log1(1)log(1)log log (1)log(1)

()(1)log(1)()log i j i j i i j H Y X p x p y x p y x p p p p p p p p p p p p p p p p p p p p p

==-=-??-?---??-?-?--=-+---+∑

[]12323max (;)max[()(|)]max[(,,)(,1)(,1)]

C I X Y H Y H Y X H q q q p H p p p H p p ==-=----

把C 对P 1，P 2，P 3 分别求导：123

δC δC δC =0 =0 =0δp δp δp ，可得：

232323233232log(1)(1)log[(1)]log[(1)](,1)0log(1)(1)log[(1)]log[(1)](,1)0

p p p p p p p p p p p p H p p p p p p p p p p p p p p H p p -----+-+---=??

-----+-+---=?可得： P 2 = P 3 22log(12)log (,1)0p p H p p ----= 可以解得：23(,1)122

H P P p p -==

最佳输入概率分布的表达式为：

(,1-)(,1-)(,1-)

2111,,222222H P P H P P H P P ??

-??+++??

设(,1)

2H P P N -+=则

123()

p =1 p =p =N N

max{()(|)}22212

(1)log(1)log ()p x C H Y H Y X H p N N N N N

=-=--

---

（2）p=0时，100010001Q ??

??=??

????是一个对称信道，当输入等概率分布时可以达到信道容量，输入转移概率为111,,333??

????

N=3，所以2221

(1)log(1)log 1.58503333

C =----= bit/符号

（3）p=1/2时，100110

221102

2Q ?????

???

=???????

，可得N=4， 1111111

log log (,)12224222C H =---= bit/符号

3-7设BSC 信道的前向转移概率矩阵为

0.980.020.020.98Q ??

=??

设该信道以1500个二元符号／秒的速度传输输入符号，现在一消息序列共有14000个二元符号，并设在这消息中(0)(1)1/2P P ==，问从信息传输的角度来考虑，10秒钟内能否将这消息序列无失真地传输完。解：BSC 信道，且输入为等概率，信道容量

1(0.98,0.02)0.8586C H =-= bit/符号

14000个二元符号的信息量为：14000log2=14000?符比特

1500/100.8568/12852??=符秒秒比特符比特＜14000比特

所以10秒内不能无失真的传输完。

3-8 有m 个离散信道，转移概率矩阵分别为12,,,m Q Q Q L 。由这m 个离散信道组成一个新信道，称为和信道，其转移概率矩阵为：

00000

m Q Q

Q Q ?????

?=???

???

L L M M O M L

设k C 是第k 个离散信道的信道容量。试证明：和信道的信道容量为

log 2k m

C k C ==∑

此时第k 个信道的使用概率为()

k C C k P -=。

解：m=2时,转移矩阵变为: 12Q 0Q=0 Q ??

????

，设两个信道的信道容量分别为：12,C C ，信道的利用率分别为：1212p ,p p +p 1=并且，并行信道，有C=C 1+C 2

()

111111()

1,11

112222222,21

22(|)max{(;)}max{()(|)log

}

()

(|)max{

()(|)log

()(|) ()(|)log

}

()

j i i j i p x p x i j j n

j i i j i p x i j j n

j i i j i i j j p y x C I X Y p x p y x p y p y x p p x p y x p p y p y x p p x p y x p p y ======+

∑∑

∑

111

111()

1,11

1222

2222,21

211221212()112212()

(|)max{()(|)log

()(|) ()(|)log

()

log log }

max{(;)2(;)(,)}

max{(,)}

j i i j i p x i j j n

j i i j i i j j p x p x p y x p p x p y x p y p y x p p x p y x p y p p p p p I X Y p I X Y H p p p C p C H p p ===+--=++=++∑

∑

分别对C 1，C 2进行求导可得：

1122dC dC =0 =0dp dp 1C logp =In2

1C logp =

In2

????

???--可得：1122C logp =C logp -- 令1122C logp =C logp m =--，可得：12C m

C m 1212p =2

,p =2,p p 1+=--

12112212121212121212C m C m C m C m C m C m

12C m C m C m C m 1212C m C m 12C C 12C C C C C C C C C 222log 22log 222(C m)2(C m)2(22)(p p )p =2

,p =2

221222log(22)

C C C C C m m m C ??=++--??

=+--=+=+=∴+=→=+→=+------------------

依次类推，可得：k k m

C C C

k k=1C=log( 2 ) p 2=∑-

3-9 求N 个相同的BSC 级联信道的信道容量。

解：N 个相同BSC 级联，设11001(1)10110i Q εεεεεε-??????

==-?+???????-?????? 级联后：111.....111Q εεεεεεεεεεεε---??????=????????---??????

10101(1)

10101010 ...(1)0101n n n

i n n n

Q Q C C εεεε-????????==?+??-???????????

???????

?????-?????????????

N 为偶数时：0 1101 001n

Q ????==???????? N 为奇数时：0 1011 010n Q ????==????????

可知本信道等同于BSC 信道，可得出：(,1)C H p p =- bit/符号 3-10 电视图像由30万个像素组成，对于适当的对比度，一个像素可取10个可辨别的亮度电平，假设各个像素的10个亮度电平都以等概率出现，实时传送电视图像每秒发送30帧图像。为了获得满意的图像质量，要求信号与噪声的平均功率比值为30dB ，试计算在这些条件下传送电视的视频信号所需的带宽。解：

i 1

p(x )=

()log10 3.32/I X bit ==像素

1秒内可以传送的信息量为：

3.3219/bit bit ????7像素3010000像素30=2.989710

103

36log(1),:10log ()3010log(110): 2.999510S S

C B dB N N

B B HZ

=∴=?=+=?7已知2.989710可得

3-11 一通信系统通过波形信道传送信息，信道受双边功率谱密度

80/20.510N -=?W ／Hz 的加性高斯白噪声的干扰，信息传输速率

24R =kbit/s ，信号功率1P =W 。

1）若信道带宽无约束，求信道容量；

解：带限的加性高斯白噪声波形信道的信道容量为

无带宽约束时：

080

lim lim

log(1)

log 1.442710/S S t w w S S P N W P

C C N P N W P

e bit s

N ->∞

->∞==+==?

2）若信道的频率范围为0到3KHz ，求信道容量和系统的频带利用率/R W （bps/Hz ）(注：W 为系统带宽)；对同样的频带利用率，保证系统可靠传输所需的最小0/b E N 是多少dB W=3KHZ

在最大信息速率条件下，每传输1比特信息所需的信号能量记为E b

b P E =

00log(1)log(1)13000log(1) 4.5074101103000

24/8/3133.47110 4.507410S

b S P C W W SNR N W

bps R kbit s bps Hz W KHz E P dB N N C --=+

=+=?+

=???=====???

3）若信道带宽变为100KHz ，欲保持与2）相同的信道容量，则此时的信噪

比为多少dB 信号功率要变化多数dB

450005

1004.507410log(1)10log(1)0.3667: 4.3654'0.366710100.366710'0.36671034.35691

S S S

s s W KHZ

P P

bps W N W N W

P SNR dB N W

Ps w P dB

P ---=?=+=+=

=-=??=??==-1010即信号功率的变化为:

10log 10log