RSS订阅信息论
贡献者：xqh0813 浏览：4228次 创建时间：2009-08-23
-
信息论的创始人是美贝尔电话研究所的数学家申农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，突破发老框框，把发射信息和接收信息作为一个整体的通讯过程来研究，提出发通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。1948年申农发表的《通讯的数学理论》一文，成为信息论诞生的标志。申农创立信息论，是在前人研究的基础上完成的。1922年卡松提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。美国统计学家费希尔从古典统计理论角度研究了信息理论，苏联数学家哥尔莫戈洛夫也对信息论作过研究。控制论创始人维纳建立了维纳滤波理论和信号预测理论，也提出了信息量的统计数学公式，甚至有人认为维纳也是信息论创始人之一。 在信息论的发展中，还有许多科学家对它做出了卓越的贡献。法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，把热力学熵与信息熵直接联系起来，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用芋生物学和神经生理学领域，也成为信息论的重要著作。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。
目录 [隐藏]
1 信息概念
2 信息的定义
3 信息量
4 信息特征
5 信息论
信息论-信息概念
信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。60年代中，由于出现复杂的工程大系统需要用计算机来控制生产过程，系统辨识成为重要研究课题。从信息科学的观点来看，系统辨识就是通过输入输出信息来研究控制系统的行为和内部结构，并用简明的数学模型来加以表示。控制就是根据系统结构和要求对信息加工、变换和利用。
“信息”使用的广泛性使得我们难以给“信息”下一个确切的定义，但是，一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号。作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各种消息之和。信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。一切事物，包括自然界和人类社会，都在发出信息。我们每个人每时每刻都在接收信息。在人类社会中，信息往往以文字、图象、图形、语言、声音等形式出现。就本体论意义而言，信息是标志事物存在及其关系的属性。但这样的描述难以将信息定量化，就认识论意义
信息论-信息的定义
就本体论意义而言，信息是事物现象及其属性标识的集合;信息就是信息，信息是物质、能量、信息及其属性的标示----Wiener信息定义的逆.信息特性是标志事物存在及其关系的属性。但这样的描述难以将信息定量化，因此申农是从就认识论意义而言定义信息的，即信息是认识主体接收到的、可以消除对事物认识不确定性的新内容和新知识。信息是确定性的增加----逆仙农（Shannon）信息定义。根据这一点给出了信息量的数学形式。
信息熵的补
信息论-信息量
信息量是信息论中量度信息多少的一个物理量。它从量上反映具有确定概率的事件发生时所传递的信息。
用H（x）表示为信息熵，是信源整体的平均不定度。而用I（p）表示为信息，是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量，所以它只不在信源发出的信息熵被信宿收到后才有意义。在排除干扰的理想情况下，信源发出的信号与信宿接收的信号一一对应，H（x）与I（p）二者相等。
信息的量度与它所代表的事件的随机性或各外事件发生的概率有关，当事件发生的概率大，事先容易判断，有关此事件的消息排队事件发生的不确定程度小，则包含的信息量就小；反之则大。从这一点出发，信息论利用统计热力学中熵的概念，建立了对信息的量度方法。在统计热力学中，熵是系统的无序状态的量度，即系统的不确定性的量度。
申农的信息量公式：H(x) =ΣP(xi)h(xi)= —ΣP(xi)·log2P(xi)
其中：h(xi) = —log2P(xi)，表示某状态xi的不定性数量或所含的信息量。若P(xi)=1，则h(xi) =0；若P(xi)=0，则h(xi) =∞；当ｎ=2，且P1=P2=1/2时，H(x)=1比特。因此可见一个等几率的二中择一的事件具有1比特的不定性或信息量。
共同信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的共同信息定义为：
I(X,Y) = H(X) + H(Y) - H(X,Y)
其中 H(X,Y) 是共有熵(Joint Entropy)，其定义为：H(X,Y) = -∑p(x,y)logp(x,y)
信息量所表示的是体系的有序度、组织结构程度、复杂性、特异性或进化发展程度。这是熵（无序度、不定度、混乱度）的矛盾对立面，即负熵。
关于信息论的熵与热力学熵的关系，布里渊（L.Brillouin）、林启茨（H.Linschitz）和奥根斯坦（L.Augensine）等曾进行过初步讨论。在数学式中的表示方面，比较熵的公式S=KlnP，于是我们有：
Ｉ＝－log2e·S／Ｋ
信息论-信息特征
信息一般具有如下一些特征：
1、可识别；
2、可转换；
3、可传递；
4、可加工处理；
5、可多次利用（无损耗性）；
6、在流通中扩充；
7、主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。
8、信息的能动性。
9、可共享性。这是信息与物质和能量的主要区别。
信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。
信息论-信息论
信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。广义信息论，人们也称它为信息科学。
信息和控制是信息科学的基础和核心。70年代以来，电视、数据通信、遥感和生物医学工程的发展，向信息科学提出大量的研究课题，如信息的压缩、增强、恢复等图像处理和传输技术，信息特征的抽取、分类和识别的模式、识别理论和方法，出现了实用的图像处理和模式识别系统。
申农最初的信息论只对信息作了定量的描述，而没有考虑信息的其他方面，如信息的语义和信息的效用等问题。而这时的信息论已从原来的通信领域广泛地渗入到自动控制、信息处理、系统工程、人工智能等领域，这就要求对信息的本质、信息的语义和效用等问题进行更深入的研究，建立更一般的理论，从而产生了信息科学。
迄今为止，人类社会已经发生过四次信息技术革命。
第一次革命是人类创造了语言和文字，接着现出了文献。语言、文献是当时信息存在的形式，也是信息交流的工具。
第二次革命是造纸和印刷技术的出现。这次革命结束了人们单纯依靠手抄、撰刻文献的时代，使得知识可以大量生产、存贮和流通，进一步扩大了信息交流的范围。
第三次革命是电报、电话、电视及其它通讯技术的发明和应用。这次革命是信息传递手段的历史性变革，它结束了人们单纯依靠烽火和驿站传递信息的历史，大大加快了信息传递速度。
第四次革命是电子计算机和现代通讯技术在信息工作中的应用。电子计算机和现代通讯技术的有效结合，使信息的处理速度、传递速度得到了惊人的提高；人类处理信息利用信息的能力达到了空前的高度。今天，人类社会已经进入了所谓的信息社会。
开放分类
参考资料
贡献者
本词条在以下词条中被提及：
关于本词条的评论共：（0条）
