信息论论文
摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。
关键字：平均自信息信道容量信源编码霍夫曼码
Abstract：Since the human being come out, the information has been existence in the world. The universe, birds and beasts, and the live style of the mankind all can’t live out of the production and transmission of the information. The human being receives the massage, transmits the information and uses the information all the time. From the papermaking in the Western Han Dynasty to the printing of the west, and the computer now, the information technology in human history developed with the productive forces. But Information Theory’s appearance is far behind the emergence of the information. It is raised in modern times and formed a complete theoretical system. The main basic theory of information includes:the definition and measurement of information;the all kinds of discrete and continuous source of information entropy;channel capacity of memorial, memory of discrete and continuous channels;lossless source coding theorem.
Key word: The average self-information Channel capacity Source Coding Huffman code
目录
一．绪论 (3)
二．信息的度量 (4)
三．平均互信息 (6)
四．连续信道 (9)
五．无失真信源编码 (10)
六．结束语 (12)
参考文献 (13)
香农信息论的基本理论探究
一．绪论
信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。使得信息论到现在形成了一套比较完整的理论体系。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。香农被称为是“信息论之父”。人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《A Mathematical Theory of Communication》（通信的数学理论）作为现代信息论研究的开端。这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。
信息不同于消息、信号、情报、知识等概念。信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。情报是军事学、文献学方面的术语。情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”。所以信息也不同于消息。
香农对信息所作的科学的定义是在通信系统框架的基础上产生的。在香农看来，在通信系统的传输过程当中，收信者在收到消息以前是不知道消息的具体内容的。在收到消息以前，收信者无法判断发送者将会发来描述何种事物运动状态的的具体消息，它也无法判断是描述这种状态还是那种状态。或者，由于干扰的存在，它也不能断定所得到的消息是否正确和可靠。这样，收信者存在“不知”，“不确定性”。那么通过消息的传递，收信者知道了消息的具体内容，原先的不确定性就部分的或者全部消除了。因此，信息传输之后，对于收信者来讲，减少了很多的不确定性和疑义度。所以，通信过程是一种消除不确定性的过程。不确定性的消除，就获得了信息。如果原先的不确定性全部消除了，就获得了全部的
信息；若消除了部分的不确定性，就获得了部分的信息；若原来的不确定性没有任何的消除，就没有获得任何信息；所以，香农所定义的信息是事物运动状态或存在方式的不确定性的描述。
以下我从信息论的几个主要基础理论来阐述下信息论。
二．信息的度量
通过以上信息的定义的描述，信息这一概念是比较抽象的，它不像通常的长度，重量等概念，有一个比较直观的印象，信息必须要有一个比较容易用来分析的度量的数学工具。这样才方便人们能够更好的认识和理解他，所以，香农在他的论文里面，对信息的度量给出了严格的数学定义。
平均自信息量也称为信息熵。信息熵是从平均意义上来表征信源的总体信息测度的。对于某特定的信源，它的信息熵是一个确定的数值。不同的信源因为其概率分布不同，它的熵也不同。
信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。这里面有一个最大离散熵定理，表明:离散信源情况下，对于具有q 个符号的离散信源，只有在q 个信源符号等可能出现的情况下，信源熵才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。这个定理为我们后面研究有噪信道编码定理提供了有力的依据。
离散平稳信源是一种非常重要的信源模型。如果不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。一维离散平稳信源无论在什么时候均按P(X)的概率分布输出符号。最简单的离散平稳信源就是二维离散平稳信源。二维离散平稳信源就是信源输出的随机序列…，X1,X2,…,Xi ，…，满足其一维和二维概率分布与时间起点无关。二维离散平稳信源的联合熵
1211()()log()q q
i j i j i j H X X P a a a a ===-∑
∑
此联合熵表明原来信源X 输出任意一对可能的消息的共熵，即描述信源X
输出长度为2的序列的平均不确定性，或者说所含有的信息量。可以用1122
()H X X 作为二维离散平稳信源X 的信息熵的近视值。
除了平稳离散信源之外，还存在着非平稳离散信源。在非平稳离散信源中有一类特殊的信源。这种信源输出的符号序列中符号之间的依赖关系是有限的，这种关系满足我们在随机过程中讲到的马尔可夫链的性质，因此可用马尔可夫链来处理。马尔可夫信源是一种非常重要的非平稳离散信源。那么马尔可夫信源需要满足一下两个条件：
（1） 某一时刻信源符号的输出只与此刻信源所出的状态有关，而与以前的状态及以前的输出符号都无关。
（2） 信源某l 时刻所处的状态由当前的输出符号和前一时刻（l -1）信源的状态唯一决定。
马尔可夫信源的输出的符号是非平稳的随机序列，它们的各维概率分布随时间的推移可能会改变。第l 时间信源输出什么符号，不但与前一（l -1）时刻信源
所处的状态和所输出的符号有关，而且一直延续到与信源初始所处的状态和所输出的符号有关。一般马尔可夫信源的信息熵是其平均符号熵的极限值，它的表达式就是：
121()lim ()N N H H X H X X X N ∞∞→∞== .
三．平均互信息
前一部分简要描述了一下离散信源的主要度量方式。现在来讨论离散信道及其信道容量。信道的任务是以信号方式传输信息和存储信息的。我们知道信源输出的是携带着信息的消息。消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。并且认为噪声或干扰主要从信道中引入。信道根据用户的多少，可以分为两端信道，多端信道。
根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。
为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系：
(|)(|)(|)(1,2,,;1,2,,)j i j i P y x P y b x a P b a i r j s ======
传递概率所表达的意思是，在信道当输入符号为a ，信道的输出端收到b 的概率。
我们知道，信道输入信源X 的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。表示在输出端收到输出变量Y 的符号后，对于输入端的变量X 尚存在的平均不确定性。即信道疑义度：
,1(|)()log (|)X Y H X Y P xy P x y =∑
这个信道的疑义度是由于干扰噪声引起的。前面我们看到了输出端接收到输出符号前关于变量X 的先验熵，以及接收到输出符号后关于输入变量X 的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。那么定义单符号信道的平均互信息量
(;)()(|)I X Y H X H X Y =-
平均互信息是表示了收到输出Y 的前，后关于X 的不确定性的消除量，就是在接到了输出符号之后，对输入端输入什么符号得到了更多的信息。平均互信息量具有一些基本的特征：第一点，非负性。我们通过一个信道获得的平均信息量不会是负值。也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。除非信道输入和输出是统计独立时，才接收不到任何信息。因为在这样的统计独立信道中，传输的信息全部损失在信道中，以致没有任何信息传输到终端，但也不会失去已经知道了的信息。第二，平均互信息量的大小不大于输入输出任一者的信息熵。即从一事件提取关于另一事件的信息量，最多只有另一事件的信息熵那么多，不会超过该事件自身所含有的信息量。第三点是平均互信息的交互性。第四，平均互信息的凸状性，平均互信息只与信源的概率分布和信道的传递有关，因此对于不同信源和不同信道得到的平均互信息是不同的。当固定某信道时，选择不同的信源与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。而且对于每一个固定信道，一定存在有一种信源，是输出端获得的信息量为最大。
后来，我们学习到信道容量的一般计算方法。其中最重要的是对称离散信道的信道容量的计算。信道矩阵中每一行和每一列分别由同一概率分布集中的元素不同排列组成的，这就是对称离散信道。计算对称离散信道的信道容量公式是：
'''12log (,,,)(/)s C s H p p p =- 比特符号
其中，等号右边的第一项是输出符号的最大信息熵，第二项是信道矩阵分布行矢量的熵函数。比方说，前面提到的，二元对称信道的信道容量就是
1()(/)C H p =-比特符号
除了前面论述到得单符号离散信道之外，还有独立并联信道和串联信道。一般的独立并联信道如下：
独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号i X 相互独立，且输入符号i X 的概率分布达到各信道容量的最佳输入分布时，独
立并联信道的信道容量才等于个信道容量之和。
串联信道是一种比较常见的信道模型，比如微波中继竭力通信就是一种串联信道，还有，在信道输出端对接受到的信号或数据进行适当的处理，这种处理称为数据处理。数据处理系统一般可以单程是一种信道，它和前面传输数据的信道是串接的关系。串联信道中X 、Y 、Z 有如下关系：
对于串接信道X 、Y 、Z 有
(;)(;)I XY Z I Y Z
当且仅当P(z|xy)=P(z|y)时，等式成立。
串联信道的信道容量与串接的信道数有关，串接的无源数据处理信道越多，其信道容量可能会越小，当串接信道数无限大时，信道容量就有可能接近零。
……
四．连续信道
前面讲到的离散信道其输出的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述。但是语音信号，电视信号都是连续波形信号。在某一固定的时刻，这样的可能输出即是连续的又是随机的，我们称之为随机波形信源。它是用随机过程描述输出消息的信源。用连续随机变量描述输出消息的信源就是连续信源。
连续信源的熵的表达式如下：
()()log ()R
h X p x p x dx -?
我们可以看到，连续信源的熵的定义与离散信源熵的定义方式一样，只不过离散情况下是每个信源符号的信息量的加权平均，而连续信源的熵也是某一时刻信源输出为某值的期望值。连续信源也可以称之为差熵。接下来由两种特殊连续信源的差熵需要计算。均匀分布连续信源的熵值，和高斯信源的熵值。
连续信源的差熵具有以下的一些基本性质：可加性，上凸性，可负性，变换性，极值性。在不同的情况下，连续信源中的差熵具有极大值，有下面两种情况下连续信道存在最大的差熵：
（1） 峰值功率受限条件下信源的最大熵。若信源输出的幅度被限定在
[],a b 区域内，则当输出信号的概率密度是均匀分布时，这个时候
信源具有最大熵，为log()b a -。
（2） 平均功率受限条件下信源的最大熵。若一个连续信源输出的平均功
率被限定为P ，那么其输出信号幅度的概率密度分布时高斯分布时，信源有最大的熵，为1
log 22eP π。也就是说，当连续信源输出信号的平均功率受限时，只有信号的统计特性与高斯噪声统计特性一样
时，才会有最大的熵值。
和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称之为信道容量。它是信道可靠传输的最大信息传输率。对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道带宽及对信号的各种限制不同，
所以具有不同的信道容量。我们先来讨论单符号高斯加性信道的信道容量，单符号高斯加性信道是指信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。它的信道容量表达式为：
1
log(1)2s
n P C P =+
其中，i
n P 是输入信号X 的平均功率，n P 是高斯噪声的平均功率。只有当信道的输入信号是均值为零，平均功率为s P 高斯分布的随机变量时。信息传输率才
能达到这个最大值。
注水定理是对于多维无记忆高斯加性连续信道的个信道功率分配问题而提出来的，对于多维的情况，因为输入的是平稳随机序列，输出的也是平稳随机序列，我们可以将它等价为N 个独立并联加性信道。假如各单元时刻上的噪声仍是均值为零，方差为不同的i
n P 的高斯噪声，单输入信号的总体平均功率受限，此时我们可以使用拉格朗日乘子法莱确定平均功率的分配。当N 个独立并联的组合高斯加性信道，各分信道的噪声平均功率不相等时，为了达到最大的信息传输率，要对输入信号的总能量适当地进行分配。如果该信道分得的平均功率小于次信道的噪声功率，那么就不能分配能量，使之不传送任何信息；如果信道分得的平均功率要大于信道的噪声功率，就在这些信道上分配能量，使i i
s n P P υ+=，这样得到的信道容量为最大。我们总是希望在噪声大的信道少传送或甚至不传送信息，而在噪声小的信道多传送些信息。
五．无失真信源编码
在这一章里面，我们学习了信源编码中需要遵循的几个重要定理。
1.编码，是将输入信源中需要传递的符号用更加适合信道传输的码符号序列来表示。如果要实现无失真编码，必须这种映射是一一对应的、可逆的。这种码就是唯一可译码，唯一可译码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列，如果要所编的码是唯一可译码，不但要求编码时不同的信源符号变换成不同的码字，而且还必须要求任意有限长的信源序列所对应的码
符号序列各不相同，也就是要求码的任意有限长N 次扩展码都是非奇异码。因为只有任意有限长的信源序列所对应的码符号序列各不相同，才能把该码符号序列唯一地分割成一个个对应的信源符号，从而实现唯一的译码。
若要对信源S 进行等长编码，则必须满足信源符号数不大于码元数的码长次方；如果是信源的N 次扩展进行等长编码，则必须满足下面的不等式： .
()log l H S N r ε+≥ 2等长信源编码定理
一个熵为H(S)的离散无记忆信源，若对信源长为N 的符号序列进行等长编码，设码字是从r 个字母的码符号集中，选取l 个码元组成。对于任意0ε>，只要满足
()log l
H S N r ε
+≥
则当N 足够大时，可实现几乎无失真编码，即译码错误概率能为任意小。反之，若
(1)q r r θ=-+()2log l
H S N r ε
-≤
则不可能实现无失真编码，而当N 足够大时，译码错误概率近似等于1. 等长编码定理告诉我们：只要码字传输的信息量大于信源序列携带的信息量，总可以实现几乎无失真编码。
3.变长码
变长码的产生式在信道容量有限的情况下，希望用较短的码就可以编出效率很高而且无失真的码。变长码必须是唯一可译码，才能实现无失真编码。在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，它就是即时码。即时码的充要条件是没有任何完整的码字是其他码字的前缀。即时码可以由树图法来构造。判断即时码的充要条件就是克拉夫特不等式，即
11i q
l i r
-=≤∑
如果码长满足此不等式，则一定存在具有这样码长的r 元即时码。
4.霍夫曼码
霍夫曼码是一种最佳码，它适用于多元独立信源，充分利用了信源概率分布的特性进行编码。通过霍夫曼编码所得到的码并不是唯一的。这是由于在编码过程中，缩减合并后的符号的概率与其他信源符号概率相同时，将新生成的概率放在上面和放在下面所得到得码是不一样的。
r 元霍夫曼码和二元霍夫曼码的编码方法基本相同，只需要让信源最初的符号个数满足
(1)q r r θ=-+
其中，θ表示缩减的次数，(1)r -是每次缩减所减少的信源符号个数。
六．结束语
信息论是一门非常系统和理论性很强的学科，它涉及到随机过程，概率论与数理统计，线性代数等多门学科。经过一个学期的学习，在陈老师的细心指导下，我们对信息论这们课的主要理论有了比较深刻的认识，对其中所提到的香农三大定理也由原来的一知半解到现在的融会贯通。这对以后研究通信系统的改进方案奠定了坚实的理论基础。
陈老师在上课过程中曾经多次提到过对香农信息论的局限性。香农信息论在对离散信源的平均信息量等问题解释的还是比较的全面和真实，但是对连续信源来说，有它不足的地方。在现代信息论发展的过程中曾有过许多这方面的专家和学者试图构造另一种较香农信息论更好的理论来描述连续信源。但是，直到现在为止，所提出来的诸多方案中，没有一个是优于香农的。这就是说，信息论的理论体系还有待人们去完善和充实它。所以陈老师也寄希望我们能够在这片领域里能够有所发现，弥补香农信息论的缺陷。
我相信，凭着我们这样一批朝气蓬勃的年轻人的敢想，敢为，敢拼的进去精神，和陈老师对我们的殷切期望，一定会有有志之士沿着那些科学泰斗们没有走完的道路，继续前进！
参考文献
【1】傅祖芸﹒信息论——基础理论与应用（第二版）﹒北京：电子工业出版社，2008
【2】傅祖芸﹒信息论与编码学习辅导及习题详解﹒北京：电子工业出版社，2004
【3】周炯磐，丁晓明﹒信源编码原理﹒北京：人民邮电出版社，1996
【4】张宗橙﹒纠错编码原理和应用﹒北京：电子工业出版社，2003
信息论复习知识点汇总
1、平均自信息为 表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。 平均互信息 表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。 2、最大离散熵定理为：离散无记忆信源，等概率分布时熵最大。 3、最大熵值为。 4、通信系统模型如下： 5、香农公式为为保证足够大的信道容量，可采用（1）用频带换信噪比；（2）用信噪比换频带。 6、只要，当N足够长时，一定存在一种无失真编码。 7、当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。 8、在认识论层次上研究信息的时候，必须同时考虑到形式、含义和效用三个方面的因素。 9、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。 按照信息的性质，可以把信息分成语法信息、语义信息和语用信息。
按照信息的地位，可以把信息分成 客观信息和主观信息 。 人们研究信息论的目的是为了 高效、可靠、安全 地交换和利用各种各样的信息。 信息的 可度量性 是建立信息论的基础。 统计度量 是信息度量最常用的方法。 熵 是香农信息论最基本最重要的概念。 事物的不确定度是用时间统计发生 概率的对数 来描述的。 10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 随机矢量 描述。 11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 其发生概率对数的负值 。 12、自信息量的单位一般有 比特、奈特和哈特 。 13、必然事件的自信息是 0 。 14、不可能事件的自信息量是 ∞ 。 15、两个相互独立的随机变量的联合自信息量等于 两个自信息量之和 。 16、数据处理定理：当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 趋于变小 。 17、离散平稳无记忆信源X 的N 次扩展信源的熵等于离散信源X 的熵的 N 倍 。 18、离散平稳有记忆信源的极限熵，=∞H )/(lim 121-∞→N N N X X X X H Λ。 19、对于n 元m 阶马尔可夫信源，其状态空间共有 nm 个不同的状态。 20、一维连续随即变量X 在[a ，b]区间内均匀分布时，其信源熵为 log2（b-a ） 。 21、平均功率为P 的高斯分布的连续信源，其信源熵，Hc （X ）=eP π2log 21 2。 22、对于限峰值功率的N 维连续信源，当概率密度 均匀分布 时连续信源熵具
信息论基础论文
信息论基础发展史 信息论（information theory）是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科。是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息论从诞生到今天，已有五十多年历史，是在20世纪40年代后期从长期通讯实践中总结出来的，现已成为一门独立的理论科学，回顾它的发展历史，我们可以知道理论是如何从实践中经过抽象、概括、提高而逐步形成的。它是在长期的通信工程实践和理论研究的基础上发展起来的。 通信系统是人类社会的神经系统，即使在原始社会也存在着最简单的通信工具和通信系统，这方面的社会实践是悠久漫长的。电的通信系统(电信系统)已有100多年的历史了。在一百余年的发展过程中，一个很有意义的历史事实是：当物理学中的电磁理论以及后来的电子学理论一旦有某些进展，很快就会促进电信系统的创造发明或改进。 当法拉第(M．Faraday)于1820年--1830年期间发现电磁感应的基本规律后，不久莫尔斯(F．B．Morse)就建立起电报系统(1832—1835)。1876年，贝尔(A．G．BELL)又发明了电话系统。1864年麦克斯韦(Maxell)预言了电磁波的存在，1888年赫兹(H．Hertz)用实验证明了这一预言。接着1895年英国的马可尼(G.Marconi)和俄国的波波夫(A．C．ΠoΠoB)就发明了无线电通信。本世纪初(1907年)，根据电子运动的规律，福雷斯特(1，Forest)发明了能把电磁波
信息论实验报告-
信息论实验报告 学生： 班级： 学号：
实验一香农编码一、程序设计的流程图 二、程序清单 #include
#include
aa=tem-1; } else { MM[i]+='0'; aa=tem; } } } string BB[N]; for(int i=0;i 信息论基础结课论文 摘要：信息的产生与应用始终贯穿在人类进化与文明发展的整个过程中，，人类社会的生存和发展都离不开信息的获取、传递、处理、再生、控制和处理。而信息论正是一门把信息作为研究对象，以揭示信息的本质特性和规律为基础，应用概率论、随即过程和数理统计等方法来研究信息的存储、传输、处理、控制、和利用等一般规律的学科。在信息论的指导下，信息技术得到飞速发展，这使得信息论渗透到自然科学和社会科学的所有领域。数学作为基础学科，与信息论的关系十分密切。 关键字：信息论、确立与发展、应用、与数学的联系 信息是一个十分通俗而又广泛的名词，通常是指音信、消息，它的产生与应用始终贯穿在人类进化和文明发展的整个过程中。中国古代有个《烽火戏诸侯》的故事，周幽王为了搏得褒姒的“千金一笑”而点燃了战时传递敌情的烽火来戏耍诸侯，结果失信天下，为后来西周的灭亡埋下了隐患。《三国演义》中蜀国大将关羽“大意失荆州”的原因之一就是东吴将士偷袭了荆州的烽火台，切断了烽火报信的信息源，结果荆州遭到“攻其不备”而失陷。虽然在古代信息传递非常不便，有“烽火连三月，家书抵万金”的难处，但仍然有“鸿雁捎信”、“柳絮传书”等动人的故事。由此可以看出，人类对信息的认识和利用是古已有之。在社会发展的现代生活中，从手机到个人电脑，从书本文件到卫星通信，信息几乎是在各个领域发挥着重要的作用。虽然信息技术在人类历史的进程当中随着生产力的进步而发展，但是信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。 1948年美国杰出科学家香农的著名论文《通信的数学理论》的发表，标志着信息论的诞生。所以，信息论一般是指香农信息论，它是信息科学产生的基础与起点，从20世纪40年代末起，它已经经历了半个多世纪的发展。在这半个多世纪中，人类文明与科学技术经历了一个突飞猛进的发展，信息论与信息科学的发展与变化正是人类文明与科学进步的标志与见证。 自香农理论产生之后，它的发展大体经历了理论的确立与发展、理论的应用与近代史发展几个阶段。1948年到20世纪60年代是理论的确立期，在这一时期中，香农信息论完成了信息度量与通信中的基本问题结合，并对这些问题实现了严格的数学描述论证。从信息的度量到通信模型，从编码问题到主要编码的定理证明，都是在严格的数学定义与证明中完成。20世纪70、80年代，信息论处于理论发展期。由于香农理论的阐明与通信技术的发展，信息论的研究范围日益扩大，这一时期发展的主要体现在“率失真理论”与“多用户信息论”方面。20世纪90年代前后，信息论得到了迅速发展，其主要特点是理论的成功应用与多学科结合，并且在IT领域等多个领域取得显著成就。 信息论是运用概率论与数理统计的方法研究信息、信息熵、通信系统、数据传输、密码学、数据压缩等问题的应用数学学科，是专门研究信息的有效处理和可靠传输的一般规律的科学，是研究通讯和控制系统中普遍存在着信息传递的共同规律以及研究最佳解决信息的获限、度量、变换、储存和传递等问题的基础理论。它主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。通信的根本目的是将信息有效而可靠的从信源传到信宿。信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信息传输定理、信源－信道隔离定理相互联系。 信息科学是以信息为研究对象的独立学科，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具的研究信息运动规律和应用方法，由信息论、控制论、计算机理论、人工智能理论和系统论相互渗透、相互结合而成。由于信息的广泛性与普遍性，它独立于其他自然科学与社会科学中的各门学科。 信息技术是主要用于管理和处理信息所采用的各种技术的总称，它主要应用计算机科学 成绩： 2016-2017学年第1学期 《信息论》课程设计 学院名称： 班级学号： 学生姓名： 教师姓名： 2016年12月 一、判定唯一可译码 1. 任务说明 输入：任意的一个码(即已知码字个数及每个具体的码字) 输出：判决结果（是/不是） 输入文件:in1.txt ，含至少2组码，每组的结尾为”$”符 输出文件:out1.txt ，对每组码的判断结果 说明：为了简化设计，可以假定码字为0，1串 2. 实现原理 判断方法：将码C 中所有码字可能的尾随后缀组成一个集合F ，当且仅当集合F 中没有 包含任一码字，则可判断此码C 为唯一可译变长码。 构成集合F ：首先观察码C 中最短的码字是否是其他码字的前缀。若是，将其所有可能 的尾随后缀排列出。就是将其他码字序列中截去与其最短码字相同的前缀 部分，将余下的序列为尾随后缀。而这些尾随后缀又可能是某些码字的前 缀，或者最短码字又仍是这些尾随后缀的前缀，再将由这些尾随后缀产生 的新的尾随后缀列出。然后再观察这些新的尾随后缀是否是某些码字的前 缀，或观察有否其他码字是这些新的尾随后缀的前缀，再将产生的尾随后 缀列出，依次下去，直至没有一个尾随后缀是码字的前缀或没有新的尾随 后缀产生为止。这样，首先获得的是由最短码字能引起的所有尾随后缀。 接着，按照上述步骤将次短的码字、......所有码字可能产生的尾随后缀前部 列出。由此得到由码C 的所有可能的尾随后缀组成的集合F 。 参考算法伪代码： For all ,i j W W C ∈ do if i W 是j W 的前缀 then 将相应的后缀作为一个尾随后缀放入集合0F 中 End if End for Loop For all i W C ∈ do For all j n W F ∈ do if i W 是j W 的前缀 then 将相应的后缀作为一个尾随后缀放入集合1n F +中 Else if j W 是i W 的前缀 then 将相应的后缀作为一个尾随后缀放入集合1n F +中 End if End for End for i i F F ← If ,i i W F W C ?∈∈ then Return false Else if F 中未出现新的元素 then Return true End if //能走到这里，说明F 中有新的元素出现，需继续 End loop 信息论与编码课程论文 电子邮件安全与密码学的应用 刘畅，200900840179 山东大学威海分校机电与信息工程学院，威海 264209 摘要：本文分析了传统电子邮件系统存在的安全性问题，探讨应用密码技术采弥补这些安全漏洞，并且绍了在安全电子邮件系统中使用的密码技术。 关键词：RSA；PGB；PEM 1、概述 随着计算机技术和网络技术的迅速发展，电子邮件的应用也越来越广泛．成为网络牛活中重要的组成部分，大有取代传统邮件之势。作为一种新的信息传递技术，电子邮件以其简单、快捷、方便的优势被人们所接受和喜爱。但是也存在一些问题妨碍了它的推广。其中关键之一就是电子邮件的信息安全。由于电子邮件技术在设计之初是为了科学家之间的通信方便，所以并来考虑信息安全因素。但是髓着时代的发展。尤其是电子商务的速成长。作为其沟通手段的电子邮件的安全性问题就不得不受到高度重视。人们很自然的想到把已经成熟的密码技术商用于电子邮件系统。密码技术就是对信息进行重新编码。从而达到隐藏信息内容使非法用户无法获取真实信息内容的一种手段。本文就浅述一下密码技术安全电子邮件中的应用。 2、密码学简介 2.1、加密的历史 作为保障数据安全的一种方式，数据加密起源于公元前2000年。埃及人是最先使用特别的象形文字作为信息编码的人。随着时间推移，巴比伦，希腊等都开始使用一些方法来保护他们的书面信息。对信息进行编码曾被Julias Caesar（恺撒大帝）使用，也曾用于历次战争中，包括美国独立战争，美国内战和两次世界大战。最广为人知的编码机器是German Enigma机，在第二次世界大战中德国人利用它创建了加密信息。此后，由于Alan Turing 和Ultra计划及其他人的努力，终于对德国人的密码进行了破解。当初，计算机的研究就是为了破解德国人的密码，当时人们并没有想到计算机给今天带来的信息革命。随着计算机的发展，运算能力的增强，过去的密码都变的十分简单了。于是人们又不断地研究出了新的数据加密方式，如私有密钥算法和公有密钥算法。可以说，是计算机推动了数据加密技术的发展。 2.2、密码学的发展 密码学的发展可以分为两个阶段。第一个阶段是计算机出现之前的四千年（早在四千年前，古埃及就开始使用密码传递消息），这是传统密码学阶段，基本上靠人工对消息加密、传输和防破译。第二阶段是计算机密码学阶段，包括： ①传统方法的计算机密码学阶段。解密是加密的简单逆过程，两者所用的密钥是可以简单地互相推导的，因此无论加密密钥还是解密密钥都必须严格保密。这种方案用于集中式系统是行之有效的。 ②包括两个方向：一个方向是公用密钥密码（RSA），另一个方向是传统方法的计算机密码体制——数据加密标准（DES）。 信息论基础调研报告 一.信息论的起源： 信息论理论基础的建立，一般来说开始于1948年美国数学家香农在《贝尔系统电话杂志》发表题为“通信的数学理论”的长篇论文。这篇论文以概率论为工具，深刻阐释了通信工程的一系列基本理论问题，给出了计算信源信息量和信道容量的方法和一般公式，得出了一组表征信息传递重要关系的编码定理，从而创立了信息论。 信息论自诞生到现在不过60多年，在人类科学史上是相当短暂的。但它的发展对学术界以及人类社会的影响是相当广泛和深刻的。信息作为一种资源，如何开发、利用、共享，是人们普遍关心的问题。 信息论是研究信息的传输、存储和处理的学科，亦称“信息论”为“通信的数学理论”。它主要研究在通信系统设计中如何实现信息传输的有效性和可靠性。 因此，信息论与通信技术、统计数学信号处理等密切相关。 二.信息技术的发展： 现代信息论其实是从上世纪二十年代奈奎斯特和哈特莱的研究开始的，他们最早开始研究了通信系统传输信息的能力，并且试图度量系统的信道容量。 香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力，1948年，来自贝尔研究所的Claude Shannon（克劳德·香农）的《通信的数学理论》论文公诸于世，从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年，香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中，香农阐明了通信的基本问题，给出了通信系统的模型，提出了信息量的数学表达式，并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期，现已成为一门独立的理论科学，他给出一切传输、存储、处理信息系统的一般理论，并指出，实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展，是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。 20世纪50年代，包括香农在内的一些科学家做了大量的工作，发表了许多重要文章，将香农的科学论断进一步推广，同时信道编码理论有了较大的发展。20世纪60年代，信道编码技术已经成为信息论的又一重要分支。它把代数方法引入到纠错码的研究，使分组码技术达到了高峰，找到了可纠正多个错误的码，并提出了可实现的译码方法。其次是卷积码和概率译码有了重大突破，提出了序列译码和维特比译码方法。 1961年，香农的重要论文“双路通信信道”开拓了多用户信息理论的研究。到70年代，由于数字计算机的广泛应用，通讯系统的能力也有很大提高，如何 从通信联合收发优化剖析香农三大定理 --“信息论与编码”课程论文 课程：信息论与编码 指导老师：王忠 姓名：秦天柱 学号：2012141441420 摘要 本文立足之点为通信系统的收发联合优化，主要根据一种基于广义的率失真函数的信源编码、信道编码和差错隐藏联合优化的方法对此进行讨论。并在此基础上，对香农三大定理进行剖析，分析了香农三大定理的内在联系与通信系统理论构建之间的关系。 1 引言 随着现代通信技术的发展，通信的重要性不言而喻。早在二十世 纪四十年代初，香农提出三大定理，奠定了通信的数字理论基础。用户数量也随之增长，传输错误当然也不可避免。自此，容错恢复编码技术近年来成为无线视频传输研究中的热点。传统的方法[ 3, 4] 往往假设视频信源是统计平稳的，然后对整个视频序列建立经验的或理论的率失真模型来进行码率分配优化；并且只考虑信源编码和信道编码本身的性能，而没有考虑差错隐藏技术的影响。 本文着重分析了一种针对图像局部区域的信源信道编码以及差错隐藏特性的广义的率失真函数. 这种基于局部广义率失真特性的信源 编码,信道编码和差错隐藏的联合优化(以下简称JSCE)有可能取得更好的视频传输效果。并由此将香农的三大定理（无失真信源编码定理、信道编码定理和限失真信源编码定理）进行剖析，深入研究其内在联系和为通信系统的联合优化提供的理论支撑。 2 通信系统的联合优化 2.1 广义的率失真函数 在进行无线视频传输的码率优化分配时,我们将信源编解码,信道 编解码和差错隐藏联合起来进行考虑.失真因素包括信源的量化误差,信道传输错误而引起的失真,以及差错隐藏的增益优化的目的, 是在一定的码流速率和信道条件下,获得最小的端对端失真. 论最大熵原理及其应用 摘要：熵是源于物理学的基本概念，后来Shannon 在信息论中引入了信息熵的概念，它在统计物理中的成功使人们对熵的理论和应用有了广泛和高度的重视。最大熵原理是一种在实际问题中已得到广泛应用的信息论方法。本文从信息熵的概念出发，对最大熵原理做了简要介绍，并论述了最大熵原理的合理性，最后提及它在一些领域的应用，通过在具体例子当中应用最大熵原理，展示该原理的适用场合，以期对最大熵原理及其应用有更深刻的理解。 关键词：熵；信息熵；最大熵原理；不适定性问题 1 引言 科学技术的发展使人类跨入了高度发展的信息化时代。在政治、军事、经济等各个领域，信息的重要性不言而喻，有关信息理论的研究正越来越受到重视，信息论方法也逐渐被广泛应用于各个领域。 信息论一般指的是香农信息论，主要研究在信息可以度量的前提下如何有效地、可靠地、安全地传递信息，涉及消息的信息量、消息的传输以及编码问题。1948年C.E.Shannon 为解决通信工程中不确定信息的编码和传输问题创立信息论，提出信息的统计定义和信息熵、互信息概念，解决了信息的不确定性度量问题，并在此基础上对信息论的一系列理论和方法进行了严格的推导和证明，使以信息论为基础的通信工程获得了巨大的发展。信息论从它诞生的那时起就吸引了众多领域学者的注意，他们竞相应用信息论的概念和方法去理解和解决本领域中的问题。近年来，以不确定性信息为研究对象的信息论理论和方法在众多领域得到了广泛应用，并取得了许多重要的研究成果。迄今为止，较为成熟的研究成果有：E.T.Jaynes 在1957年提出的最大熵原理的理论；S.K.Kullback 在1959年首次提出后又为J.S.Shore 等人在1980年后发展了的鉴别信息及最小鉴别信息原理的理论；A.N.Kolmogorov 在1956年提出的关于信息量度定义的三种方法——概率法，组合法，计算法；A.N.Kolmogorov 在1968年阐明并为J.Chaitin 在1987年系统发展了的关于算法信息的理论。这些成果大大丰富了信息理论的概念、方法和应用范围。 在信息论中，最大熵的含义是最大的不确定性，它解决的一大类问题是在先验知识不充分的条件下进行决策或推断等。熵方法在谱估计、图象滤波、图象重建、天文信号处理、专家系统等中都有广泛的应用。最大熵原理在实际问题中的应用近年来一直在不断地发展。 2 信息熵的概念 信息熵是将熵概念成功地扩展到信息科学领域。熵是描述客观事物无序性的参数，它最早是由R.Clausius 于1865年引入热力学中的一个物理概念，通常称之为热力学熵。后来L.Boltzmann 赋予熵统计意义上的解释，称之为统计热力学熵。1929年，匈牙利科学家Lszilard 首先提出了熵与信息不确定性的关系，使信息科学引用熵的概念成为可能。1948年，贝尔实验室的C ．Shannon 创立了信息论，熵的概念有了新的解释，香农认为信息是人们对事物了解的不确定性的消除或减少 ，他把通讯过程中信源讯号的平均信息量称为信息熵，现在一般称之为香农熵，实现了信息熵的实际应用，从此对信息熵的研究，随着信息科学的发展而得到不断的发展。 香农将随机变量X 的信息熵定义为： =)(X H －n N n n p p log 1∑= 信息论与编码应用报告互信息技术在数字图像配准中的应用 专业班级：电子信息工程 姓名： 学号：201 时间：2014年6月9日 指导老师： 2014年6月9日 目录 摘要： (1) Abstract： (2) 前言 (3) 1 概述 (4) 1.1 互信息与信息论 (4) 1.2 数字图像配准 (5) 1.2.1 数字图像配准的介绍 (5) 1.2.2 数字图像配准的方式 (5) 1.2.3 数字图像配准的发展 (6) 2 配准方法 (7) 2.1 变换和插值模型 (7) 2.2 特征点的提取 (8) 2.3 多元互信息 (11) 2.4 优化算法 (12) 2.4.1 编码方式 (12) 2.4.2适应度表示 (12) 2.4.3轮盘赌法和最优保存策略 (12) 3 互信息技术在图像配置中的应用 (13) 3.1 Harris角点后的CT图和PET图 (14) 3.2 配准过程及结果 (14) 4 总结 (14) 参考文献： (16) 互信息技术在数字图像配准中的应用 信息与计算科学专业 指导教师 【摘要】：医学图像配准技术已经被应用于心脏病诊断和包括脑瘤在内的各种各样的神经混乱诊断研究中。图像配准是使两幅图像上的对应点达到空间上一致的一个过程。本文介绍了一种基于最大互信息原理的图像配准技术。并针对基于最大互信息图像配准的不足，研究了基于Harris角点算子的多模态医学图像配准。在计算互信息的时候，采用部分体积插值法计算联合灰度直方图。在优化互信息函数的时候采用了改进的遗传算法将配准参数收敛到最优值附近。实验结果表明本方法具有较高的配准精度和稳定性。 【关键词】：图像配准互信息 Harris角点算子部分体积插值遗传算法 前言 互信息是信息论的一个基本概念，是两个随机变量统计相关性的测度。Woods用测试图像的条件熵作为配准的测度，用于PET 到MR 图像的配准。Collignon 、Wells[1] 等人用互信息作为多模态医学图像的配准测度。以互信息作为两幅图像的相似性测度进行配准时，如果两幅基于共同解剖结构的图像达到最佳配准时，它们对应的图像特征互信息应为最大。最大互信息法几乎可以用在任何不同模式图像的 联合信源各种熵的计算 一、摘要： 在人类社会中，人与人之间要经常互通情报，交换消息，从一般意义上讲这就是通信。因此传递信息就是通信的根本目的。信源需要传递的事情一般是属于随机事件，也就是其状态是随机的。源熵是信息论中用来衡量信源信息量有序化程度的一个概念。信源熵值与信源有序化程度成反比；有序度越高，信源熵值越低，反之亦成立。信源各个离散消息的自信息量的数学期望（即概率加权的统计平均值）。本文主要研究了联合信源的各种伤的计算。 关键词： 条件熵 非条件熵 共熵 联合信源 二、问题分析： 由这两个信源构成了联合信源的各种概率空间： 联合概率空间——{,()}i j XY p x y 条件概率空间——{/,(/)}j i Y X p y x ，{/,(/)}i j X Y p x y 以下分别对二元联合信源的共熵，条件熵，非条件熵和最大熵进行求解。 1、二元联合信源的共熵： 共熵反映的是每当两个信源同时发送一对消息时，所提供的平均信息量。 二元联合信源的共熵（或联合熵）的定义： ,,1 ()()log ()log ()()i j i j i j i j i j i j H XY p x y p x y p x y p x y ==-∑∑ 2、二元联合信源的条件熵： (1).X 给定的情况下Y 的条件熵： ,,1(/)()log ()log (/)(/) i j i j j i i j i j j i H Y X p x y p x y p y x p y x ==-∑∑ 条件熵H(X/Y)所反映的是信源X 给定的条件下，信源Y 所提供的平均信息量。 (2).Y 给定的情况下X 的条件熵： ,,1 (/)()log ()log (/)(/)i j i j i j i j i j i j H X Y p x y p x y p x y p x y ==-∑∑ 条件熵H(Y/X)所反映的是信源Y 给定的条件下，信源X 所提供的平均信息量。 3、最大熵： 当X,Y 相互独立时，()()()()MAX H XY H X H Y H XY =+-- 三。、程序代码： %---------输入先验概率 转移矩阵 fprintf('\n 请输入先验概率P_x 和状态转移概率P_y_x\n'); eps=1e-8; P_x=input('P_x=')+eps; %+eps 是为了防止概率为0使，对数无意义 P_y_x=input('P_y_x=')+eps; if (min(P_x(:))<0 | max(P_x(:)>1))|(min(P_y_x(:))<0|max(P_x(:)>1)) error('The data shoud be any numbers between 0 and 1.'); end ; eps=1e-10; if min(sum(P_y_x')-1) 信息论发展 现代信息论是从上世纪二十年代奈奎斯特和哈特莱的研究开始的,他们最早开始研究了通信系统传输信息的能力,并且试图度量系统的信道容量。香农于1940年在普林斯顿高级研究所期间开始思考信息论与有效通信系统的问题。经过8年的努力,1948年,来自贝尔研究所的ClaudeShannon（克劳德·香农）的《通信的数学理论》论文公诸于世,从此宣告了崭新的一门关于信息发面的学科──信息论的诞生。1949年,香农又在该杂志上发表了另一著名论文《噪声下的通信》。在这两篇论文中,香农阐明了通信的基本问题,给出了通信系统的模型,提出了信息量的数学表达式,并解决了信道容量、信源统计特性、信源编码、信道编码等一系列基本技术问题。两篇论文成为了信息论的奠基性著作。这两篇论文一起阐述了现代信息论的基础。并且香农开始创造性的定义了“信息”。 信息论自从二十世纪四十年代中叶到二十一世纪初期,现已成为一门独立的理论科学,他给出一切传输、存储、处理信息系统的一般理论,并指出,实现有效、可靠地传输和存储信息的途径是走数字化的道路。这是通信技术领域数字化革命的数学或理论基础。1946年的计算机和1947年晶体管的诞生和相应技术的发展,是这一革命的物理或物质基础。信息论是在长期的通信工程实践和理论研究的基础上发展起来的。当物理学中的电磁理论以及后来的电子学理论一旦有某些进展,很快就会促进电信系统的创造发明或改进。这是因为通信系统对人类社会的发展,其关系实在是太密切了。日常生活、工农业生产、科学研究以及战争等等,一切都离不开消息传递和信息流动。通信系统是人类社会的神经系统,即使在原始社会也存在着最简单的通信工具和通信系统,这方面的社会实践是悠久漫长的。自从香农十九世纪四十年代末两篇论文发表后,前苏联和美国的科学家采取了不同的研究途径经一部发展了信息论。柯尔莫哥洛夫、宾斯基和达布鲁新为首的一批著名数学家致力于信息论的公理化体系和更一般更抽象的数学模型,对信息论的基本定理给出了更为普遍的结果,为信息论发展成数学的一个分支作出了贡献。而在美国测试有一批数学修养很高的工程技术人员致力于信息有效处理和可靠传输的可实现性,维信息论转化为信息技术作出了贡献。 20世纪50年代,信息论向各门学科发起冲击；60年代信息论进入一个消化、 《信息论与编码》期末考察报告 题目JPEG编码 学生姓名蒲亚洁 学号20102334916 院系电子工程 专业通信工程 二Ｏ一三年一月八日 JPEG编码 蒲亚洁 滨江学院电子工程系通信工程专业10级3班 摘要：本文介绍了JPEG。JPEG是一种针对相片影像而广泛使用的一种失真压缩标准方法。JPEG 标准指定了一系列实现静态图像压缩编码的方法,这些方法的选择决定于具体应用的要求及性能价格比的考虑。这些方法基本上可以分为两种：一种是采用以离散余弦变换(DCT)为基础的有损压缩算法，另一种是采用以预测技术为基础的无损压缩算法。使用有损压缩算法时在压缩比为25﹕1 的情况下压缩后还原的图像与原始图像相比较非图像专家难以找到它们的区别因此得到了广泛的应用。 JPEG采取多种编码方式，包含有行程编码(Run Length Coding)和哈夫曼(Huffman)编码，有很高的压缩比。在编码前，先对数据进行分块，离散余弦变换（DCT）及量化，保留能量大的低频信号，丢弃高频信号以达到压缩。解码时，进行熵解码，反量化，反离散余弦变换（IDCT）。 关键词：有损压缩算法；无损压缩算法；失真压缩标准方法；哈夫曼编码;有损压缩；JPEG Abstract：This paper introduced JPEG.JPEG is a widely used for photo image of a standard method for compression distortion. JPEG standard specifies a series of static image compression coding method, these methods of selection determines the specific application requirements and performance 实验一 绘制二进熵函数曲线（2个学时） 一、实验目的： 1. 掌握Excel 的数据填充、公式运算和图表制作 2. 掌握Matlab 绘图函数 3. 掌握、理解熵函数表达式及其性质 二、实验要求： 1. 提前预习实验，认真阅读实验原理以及相应的参考书。 2. 在实验报告中给出二进制熵函数曲线图 三、实验原理： 1. Excel 的图表功能 2. 信源熵的概念及性质 ()()[] ()[]())(1)(1 .log )( .) ( 1log 1log ) (log )()(10 , 110)(21Q H P H Q P H b n X H a p H p p p p x p x p X H p p p x x X P X i i i λλλλ-+≥-+≤=--+-=-=≤≤? ?????-===??????∑ 单位为 比特/符号 或 比特/符号序列。 当某一符号xi 的概率p(xi)为零时，p(xi)log p(xi) 在熵公式中无意义，为此规定这时的 p(xi)log p(xi) 也为零。当信源X 中只含有一个符号x 时，必有p(x)=1，此时信源熵H （X ）为零。 四、实验内容： 用Excel 和Matlab 软件制作二进熵函数曲线。根据曲线说明信源熵的物理意义。 （一） Excel 具体步骤如下： 1、启动Excel 应用程序。 2、准备一组数据p 。在Excel 的一个工作表的A 列（或其它列）输入一组p ，取步长为0.01，从0至100产生101个p （利用Excel 填充功能）。 3、取定对数底c，在B列计算H(x) ,注意对p=0与p=1两处，在B列对应位置直接输入0。Excel中提供了三种对数函数LN(x),LOG10(x)和LOG(x,c)，其中LN(x)是求自然对数，LOG10(x)是求以10为底的对数，LOG(x,c)表示求对数。选用c=2,则应用函数LOG(x,2)。 在单元格B2中输入公式：=-A2*LOG(A2,2)-(1-A2)*LOG(1-A2,2) 双击B2的填充柄，即可完成H(p)的计算。 4、使用Excel的图表向导，图表类型选“XY散点图”，子图表类型选“无数据点平滑散点图”，数据区域用计算出的H(p)数据所在列范围，即$B$1:$B$101。在“系列”中输入X值(即p值)范围，即$A$1:$A$101。在X轴输入标题概率，在Y轴输入标题信源熵。 （二）用matlab软件绘制二源信源熵函数曲线 p = 0.0001:0.0001:0.9999; h = -p.*log2(p)-(1-p).*log2(1-p); plot(p,h) 五、实验结果 信息科学技术概论课程报告 姓名: 葛坤 专业: 11级电子信息工程A班 学号: 1115102016 日期2013年3月1日—2013年4月26日 一、研究内容 信息科学 信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。 信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。 信息科学技术主要研究信息的产生、获取、存储、传输、处理及其应用。其中以微电子、计算机、软件、通信讯技术为主导，微电子是基础，计算机及通信设施是载体，而软件是核心，是计算机的灵魂。 信息，既是信息科学的出发点，也是它的归宿。具体来说，信息科学的出发点是认识信息的本质和它的运动规律；它的归宿则是利用信息来达到某种具体的目的。 信息概念 信息是人类对自然世界的了解的物化形式，信息的概念可以在两个层次上定义： 1、本体论意义的信息是事物运动的状态和状态变化的方式，即事物内部结构和外部联系的状态和方式。 2、认识论意义的信息是认识主体所感知、表达的相应事物的运动状态及其变化方式，包括状态及其变化方式的形式、含义和效用。 信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。 信息的主要特征有：可量度、可识别、可转换、可存储、可处理传递、可再生、可压缩、可利用、可共享、主客体二重性等。 信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。 数据、信息、知识和智慧 数据是未加工过的“信息”； 信息通过将事实和给定的语境关联而导出； 知识将某语境中的信息和在不同语境中得到的信息相关联； 智慧是从完全不同的知识导出的一般性原理。 信息论概念 信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。 信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性， xx大学 信息论课程设计 姓名： 学号： 学院： 指导老师： 完成日期：2015.01.04 一、判定唯一可译码 1．任务说明： 输入：任意的一个码(即已知码字个数及每个具体的码字) 输出：判决结果（是/不是） 输入文件:in1.txt，含至少2组码，每组的结尾为”$”符 输出文件:out1.txt，对每组码的判断结果 说明：为了简化设计，可以假定码字为0，1串 2．问题分析、实现原理 判定唯一可译码根据唯一可译码的判别方法，利用数据结构所学的知识，定义字符串数据类型并利用指针进行编程来实现算法。 算法： 1、考察C 中所有的码字，若Wi是Wj的前缀，则将对应的后缀作为一个尾随后缀码放入集合Fi+1中； 2、考察C和Fi俩个集合，若Wi ∈C是Wj∈F的前缀或Wi ∈F是Wj∈C的前缀，则将相应的后缀作为尾随后缀码放入集合Fi+1中； 3、F=∪Fi即为码C的尾随后缀集合； 4、若F中出现了C中的元素，算法终止，返回假（C不是唯一可译码）；否则若F中没有出现新的元素则返回真。 3.源代码： #include 摘要：信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。人类每时每刻都在不停的接受信息，传播信息，以及利用信息。从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。信息论的主要基本理论包括：信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。 关键字：平均自信息信道容量信源编码霍夫曼码 Abstract：Since the human being come out, the information has been existence in the world. The universe, birds and beasts, and the live style of the mankind all can’t live out of the production and transmission of the information. The human being receives the massage, transmits the information and uses the information all the time. From the papermaking in the Western Han Dynasty to the printing of the west, and the computer now, the information technology in human history developed with the productive forces. But Information Theory’s appearance is far behind the emergence of the information. It is raised in modern times and formed a complete theoretical system. The main basic theory of information includes:the definition and measurement of information;the all kinds of discrete and continuous source of information entropy;channel capacity of memorial, memory of discrete and continuous channels;lossless source coding theorem. Key word: The average self-information Channel capacity Source Coding Huffman code信息论基础结课论文
信息论课程设计报告
信息论与编码课程论文
信息论应用调研报告
信息论课程论文汇总
信息论论文
信息论与编码课程论文
信息论报告
信息论发展
信息论与编码期末论文
信息论与编码实验报告
信息论论文
信息论课程设计报告
信息论论文