【www.shanpow.com--数学试题】
信息论的创始人篇1:信息论
信息论
所属分类： 信息论 基本物理概念 学科名 心理学 心理学术语 数学术语 术语 物理学 电子 电子工程 电子术语 神经科学 语言学 通信技术
添加摘要
信息论的创始人是美贝尔电话研究所的数学家申农（C.E.Shannon1916——），他为解决通讯技术中的信息编码问题，突破发老框框，把发射信息和接收信息作为一个整体的通讯过程来研究，提出发通讯系统的一般模型；同时建立了信息量的统计公式，奠定了信息论的理论基础。1948年申农发表的《通讯的数学理论》一文，成为信息论诞生的标志。申农创立信息论，是在前人研究的基础上完成的。1922年卡松提出边带理论，指明信号在调制（编码）与传送过程中与频谱宽度的关系。1922年哈特莱发表《信息传输》的文章，首先提出消息是代码、符号而不是信息内容本身，使信息与消息区分开来，并提出用消息可能数目的对数来度量消息中所含有的信息量，为信息论的创立提供了思路。美国统计学家费希尔从古典统计理论角度研究了信息理论，苏联数学家哥尔莫戈洛夫也对信息论作过研究。控制论创始人维纳建立了维纳滤波理论和信号预测理论，也提出了信息量的统计数学公式，甚至有人认为维纳也是信息论创始人之一。 在信息论的发展中，还有许多科学家对它做出了卓越的贡献。法国物理学家L.布里渊（L.Brillouin）1956年发表《科学与信息论》专著，从热力学和生命等许多方面探讨信息论，把热力学熵与信息熵直接联系起来，使热力学中争论了一个世纪之久的“麦克斯韦尔妖”的佯谬问题得到了满意的解释。英国神经生理学家（W.B.Ashby）1964年发表的《系统与信息》等文章，还把信息论推广应用芋生物学和神经生理学领域，也成为信息论的重要著作。这些科学家们的研究，以及后来从经济、管理和社会的各个部门对信息论的研究，使信息论远远地超越了通讯的范围。
目录 [隐藏]
1 信息概念
2 信息的定义
3 信息量
4 信息特征
5 信息论
信息论-信息概念
信息科学是以信息为主要研究对象，以信息的运动规律和应用方法为主要研究内容，以计算机等技术为主要研究工具，以扩展人类的信息功能为主要目标的一门新兴的综合性学科。信息科学由信息论、控制论、计算机科学、仿生学、系统工程与人工智能等学科互相渗透、互相结合而形成的。60年代中，由于出现复杂的工程大系统需要用计算机来控制生产过程，系统辨识成为重要研究课题。从信息科学的观点来看，系统辨识就是通过输入输出信息来研究控制系统的行为和内部结构，并用简明的数学模型来加以表示。控制就是根据系统结构和要求对信息加工、变换和利用。
“信息”使用的广泛性使得我们难以给“信息”下一个确切的定义，但是，一般说来，信息可以界定为由信息源（如自然界、人类社会等）发出的被使用者接受和理解的各种信号。作为一个社会概念，信息可以理解为人类共享的一切知识，或社会发展趋势以及从客观现象中提炼出来的各种消息之和。信息并非事物本身，而是表征事物之间联系的消息、情报、指令、数据或信号。一切事物，包括自然界和人类社会，都在发出信息。我们每个人每时每刻都在接收信息。在人类社会中，信息往往以文字、图象、图形、语言、声音等形式出现。就本体论意义而言，信息是标志事物存在及其关系的属性。但这样的描述难以将信息定量化，就认识论意义
信息论-信息的定义
就本体论意义而言，信息是事物现象及其属性标识的集合;信息就是信息，信息是物质、能量、信息及其属性的标示----Wiener信息定义的逆.信息特性是标志事物存在及其关系的属性。但这样的描述难以将信息定量化，因此申农是从就认识论意义而言定义信息的，即信息是认识主体接收到的、可以消除对事物认识不确定性的新内容和新知识。信息是确定性的增加----逆仙农（Shannon）信息定义。根据这一点给出了信息量的数学形式。
信息熵的补
信息论-信息量
信息量是信息论中量度信息多少的一个物理量。它从量上反映具有确定概率的事件发生时所传递的信息。
用H（x）表示为信息熵，是信源整体的平均不定度。而用I（p）表示为信息，是从信宿角度代表收到信息后消除不定性的程度，也就是获得新知识的量，所以它只不在信源发出的信息熵被信宿收到后才有意义。在排除干扰的理想情况下，信源发出的信号与信宿接收的信号一一对应，H（x）与I（p）二者相等。
信息的量度与它所代表的事件的随机性或各外事件发生的概率有关，当事件发生的概率大，事先容易判断，有关此事件的消息排队事件发生的不确定程度小，则包含的信息量就小；反之则大。从这一点出发，信息论利用统计热力学中熵的概念，建立了对信息的量度方法。在统计热力学中，熵是系统的无序状态的量度，即系统的不确定性的量度。
申农的信息量公式：H(x) =ΣP(xi)h(xi)= —ΣP(xi)·log2P(xi)
其中：h(xi) = —log2P(xi)，表示某状态xi的不定性数量或所含的信息量。若P(xi)=1，则h(xi) =0；若P(xi)=0，则h(xi) =∞；当ｎ=2，且P1=P2=1/2时，H(x)=1比特。因此可见一个等几率的二中择一的事件具有1比特的不定性或信息量。
共同信息(Mutual Information)是另一有用的信息度量，它是指两个事件集合之间的相关性。两个事件X和Y的共同信息定义为：
I(X,Y) = H(X) + H(Y) - H(X,Y)
其中 H(X,Y) 是共有熵(Joint Entropy)，其定义为：H(X,Y) = -∑p(x,y)logp(x,y)
信息量所表示的是体系的有序度、组织结构程度、复杂性、特异性或进化发展程度。这是熵（无序度、不定度、混乱度）的矛盾对立面，即负熵。
关于信息论的熵与热力学熵的关系，布里渊（L.Brillouin）、林启茨（H.Linschitz）和奥根斯坦（L.Augensine）等曾进行过初步讨论。在数学式中的表示方面，比较熵的公式S=KlnP，于是我们有：
Ｉ＝－log2e·S／Ｋ
信息论-信息特征
信息一般具有如下一些特征：
1、可识别；
2、可转换；
3、可传递；
4、可加工处理；
5、可多次利用（无损耗性）；
6、在流通中扩充；
7、主客体二重性。信息是物质相互作用的一种属性，涉及主客体双方；信息表征信源客体存在方式和运动状态的特性，所以它具有客体性，绝对性；但接收者所获得的信息量和价值的大小，与信宿主体的背景有关表现了信息的主体性和相对性。
8、信息的能动性。
9、可共享性。这是信息与物质和能量的主要区别。
信息的产生、存在和流通，依赖于物质和能量，没有物质和能量就没有能动作用。信息可以控制和支配物质与能量的流动。
信息论-信息论
信息论是研究信息的产生、获取、变换、传输、存贮、处理识别及利用的学科。信息论还研究信道的容量、消息的编码与调制的问题以及噪声与滤波的理论等方面的内容。信息论还研究语义信息、有效信息和模糊信息等方面的问题。信息论有狭义和广义之分。狭义信息论即申农早期的研究成果，它以编码理论为中心，主要研究信息系统模型、信息的度量、信息容量、编码理论及噪声理论等。广义信息论又称信息科学，主要研究以计算机处理为中心的信息处理的基本理论，包括评议、文字的处理、图像识别、学习理论及其各种应用。广义信息论则把信息定义为物质在相互作用中表征外部情况的一种普遍属性，它是一种物质系统的特性以一定形式在另一种物质系统中的再现。广义信息论包括了狭义信息论的内容，但其研究范围却比通讯领域广泛得多，是狭义信息论在各个领域的应用和推广，因此，它的规律也更一般化，适用于各个领域，所以它是一门横断学科。广义信息论，人们也称它为信息科学。
信息和控制是信息科学的基础和核心。70年代以来，电视、数据通信、遥感和生物医学工程的发展，向信息科学提出大量的研究课题，如信息的压缩、增强、恢复等图像处理和传输技术，信息特征的抽取、分类和识别的模式、识别理论和方法，出现了实用的图像处理和模式识别系统。
申农最初的信息论只对信息作了定量的描述，而没有考虑信息的其他方面，如信息的语义和信息的效用等问题。而这时的信息论已从原来的通信领域广泛地渗入到自动控制、信息处理、系统工程、人工智能等领域，这就要求对信息的本质、信息的语义和效用等问题进行更深入的研究，建立更一般的理论，从而产生了信息科学。
迄今为止，人类社会已经发生过四次信息技术革命。
第一次革命是人类创造了语言和文字，接着现出了文献。语言、文献是当时信息存在的形式，也是信息交流的工具。
第二次革命是造纸和印刷技术的出现。这次革命结束了人们单纯依靠手抄、撰刻文献的时代，使得知识可以大量生产、存贮和流通，进一步扩大了信息交流的范围。
第三次革命是电报、电话、电视及其它通讯技术的发明和应用。这次革命是信息传递手段的历史性变革，它结束了人们单纯依靠烽火和驿站传递信息的历史，大大加快了信息传递速度。
第四次革命是电子计算机和现代通讯技术在信息工作中的应用。电子计算机和现代通讯技术的有效结合，使信息的处理速度、传递速度得到了惊人的提高；人类处理信息利用信息的能力达到了空前的高度。今天，人类社会已经进入了所谓的信息社会。
信息论的创始人篇2:数学家和信息论创始人香农的贡献及其对后世人工智能的影响
人工智能学家
Claude E. Shannon: His Work and Impact
张卫国，高新波，蒋洪波
关键词：香农；信息论；密码学
香农（Claude Elwood Shannon）生于1916年，卒于2001年。今年是香农诞辰一百周年。为了纪念这位伟大数学家和信息论的创始人，我们以香农的生平为线索，介绍他不平凡的一生和他对世界的影响。
香农于1916年4月30日诞生于美国密歇根（Michigan）州皮托斯基（Petoskey）的盖洛德（Gaylord）小镇。孩童时代的香农性格比较内向，没有任何迹象能够表明他未来会是一位伟大的科学家。香农的父母在科学方面对香农似乎没有产生多大的影响，但香农的祖父是一位发明过许多农业机械和洗衣机的发明家，对香农在科学研究方面的影响比较深远。大发明家爱迪生（Thomas Alva Edison）是香农的远房亲戚，也是香农孩童时代的偶像。中学时代的香农兴趣爱好广泛，参加镇上的乐队，吹奏中音萨克斯号。那时的香农对各类机械装置非常感兴趣，对这些装置如何运转具有很强的好奇心。
1932年16岁的香农从盖洛德高中毕业，进入密歇根大学学习，并于1936年同时获得数学学士学位和电子工程学士学位。在数学和工程领域中的双重兴趣一直贯穿于他的整个职业生涯。
大学毕业后的香农在麻省理工学院（MIT）注意到公告栏上张贴的招聘操作微分分析仪助理研究员的广告。香农申请到这个职位，并在职攻读硕士学位。香农为什么申请这个职位呢？这源于他对布尔逻辑维持一生的兴趣。当时的微分分析仪其实是一种早期的模拟计算机，它通过上百个继电器组成的结点电路控制运算，可以求解高阶微分方程。香农在密歇根大学时，曾学过符号逻辑和布尔代数，这成为他后来研究二元系统的数学理论基础。
中国人早就注意到二元现象的普遍性，并发展出阴阳哲学体系。但遗憾的是，中国人从未用数学的观点去形式化描述二元现象，把对这一对象的认识模糊在玄学，而非精确在科学。这是值得我们当代国人思考的。
香农在计算机模拟和复杂开关电路控制这两方面的双重兴趣，使得他在开始探索布尔代数在开关电路中应用的可能性。这一了不起的工作始于1937年，香农在他的硕士学位论文“A Symbolic Analysis of Relay and Switching Circuits”（继电器和开关电路的符号分析）[1]中，科学严谨地论述了如何使用布尔代数对继电器电路进行分析和合成。1940年，24岁的香农因这一成果获得了Alfred Noble协会美国工程师奖。开关电路在后来的计算机和通信电子工程发展中发挥了极大的作用，现在人们普遍认为这项工作为数字电路领域奠定了基础。H. H. Goldstine后来称赞这一成果为“有史以来最重要的一篇硕士论文”、“把数字电路设计方式由艺术变为科学的里程碑”。当我们对香农创立的信息论津津乐道时，可能在香农心目中他硕士论文的工作才是他最得意的成果，他从中得到的乐趣超过其他任何事情。
青年香农
香农完成这一工作后，他从电子工程系转到数学系开始攻读他的博士学位。1940年获得数学博士学位，他的博士学位论文的题目是“An Algebra for Theoretical Genetics”（理论遗传学的代数理论）[2]。很多人都不知道这篇论文中的内容具体是什么，都只是从题目猜测这篇论文是用数学的方式研究人类遗传学的。事实上，这篇论文至今都没有引起注意，一个原因是这篇论文直到1993年才被正式发表。另一个原因是，这是一篇遗传学家看不懂、数学家不去看的论文。
在攻读博士学位期间，香农除了继续研究开关理论，还进行微分分析器的研究。这种分析器是早期的机械模拟计算机，用于获得常微分方程的数值解。1941年香农发表论文“Mathematical Theory of the Differential Analyzer”（微分分析器的数学理论）[3]。伴随着这些模拟计算机理论的发展，他还尝试去理解数字计算机如何来完成与此类似的计算任务。
香农于1941年开始在贝尔实验室数学部工作。香农是数学家，也是工程师。这一双重身份使他在看待工程问题时，总喜欢用数学的视角。香农对通信中基本问题的数学思考，使他成为信息论的开山鼻祖。
香农在攻读博士学位时，就对通信中的基本问题很感兴趣，并进行了初步研究。1940-1941年香农到普林斯顿普林斯顿高等研究院做研究员，这一期间香农开始认真研究他在通信方面尚不成熟的数学理论。
1941年夏天，战争即将来临，香农回到贝尔实验室，参加了专门研究火力控制系统的一个精英小组，设计观测敌机或导弹、计算防空导弹的瞄准目标的定向器，这种装置大大支援了英国抗击德国V1和V2火箭的能力。在闲暇时间，香农仍然致力于开关理论和通信的数学理论研究。
香农在贝尔实验室
如果说开关理论是香农一生的兴趣所在，那么通信的数学理论就是香农一生中对世界最严肃的一次思考。由于他的这一贡献，人类历史发生了天翻地覆的改变，至今仍深刻影响着我们的世界。
从1940年算起，香农用了八年的时间，为通信系统建立了一整套数学理论。他的理论涉及到整个通信处理过程，这些处理对象包括，通信源头、数据压缩、信道编码、调制、信道噪声、解调、检错、纠错等。理论关注了最佳通信系统的性能以及如何才能接近该性能。终于在1948年，香农发表了“A Mathematics Theory of Communication”（通信的数学理论）一文，标志着信息论的诞生[4][5]。在这一具有划时代意义的论文中，香农提出熵（entropy）的概念，给出了可量化的信息的定义，推导出一系列精彩绝伦的定理。这篇论文至今还在指引启发着后人的研究工作，信息论在越来越多的领域大放异彩。
“熵”是信息论中最基本最重要的一个概念，香农最初想用“信息”（information）来表达这一概念，但这个词在当时已经被用滥了。后来，他决定用“不确定性”（uncertainty）来表达这个意思。但当香农和冯·诺依曼（John Von Neumann）讨论这个问题时，冯·诺依曼对香农建议说：“你应该把它称之为‘熵’。”并给出两个理由，一是“不确定性”这个概念已被用于统计力学，二是没有人知道“熵”到底是什么，不至引起争论。冯·诺依曼当然知道“熵”早已被用于热力系统，但那时“熵”仅仅是一个可以通过热量改变来测定的物理量，其本质仍没有很好的解释。正是“熵”引申到信息论后，其本质才逐渐被解释清楚，即，熵的本质是一个系统“内在的混乱程度”。1923年，德国科学家普朗克（Max Planck）来中国讲学时用到entropy这个词，由于entropy在表达形式上是两个量相除的商，著名物理学家胡刚复教授现场翻译时，把这个词翻译成“商”字加火旁来意译创造了“熵”字。香农比冯·诺依曼小13岁，是香农一生中最佩服的人之一。1957年，54岁的冯·诺依曼过早的去世。香农在《美国数学学会通信》上撰文纪念冯·诺依曼，讲述他在自动机理论方面的贡献[6]。
信息保密性和隐匿性的编码是香农信息论的重要内容之一。在二战期间，香农对密码术产生了极大的兴趣，他意识到对密码术根本性问题的研究与他当时正在研究的通信理论的思想密切相关。他的许多成果在语音加密装备中有着非常重要的应用，而该装备是罗斯福和丘吉尔在战争期间使用的主要通信工具。1945年，香农向贝尔实验室提交了一份机密文件，题目是“A Mathematical Theory of Cryptography”（密码术的数学理论）。这一成果在二战结束后的1949年以“Communication Theory of Secrecy Systems”（保密系统的通信理论）为题目正式发表[7]。这篇论文刚一发表，就引起轰动，香农也因此被聘为美国政府密码事务顾问。这篇论文为对称密码系统的研究建立了一套数学理论，从此密码术成为了密码学，由一门艺术成为一门真正的科学。香农曾在这篇论文中高屋建瓴地指出，好的密码系统的设计问题本质上是寻求一个困难问题的解，使得破译密码等价于解某个已知数学难题。这句话含义深刻，受此思想启发，Diffie和Hellman于1976年在IEEE Transactions on Information Theory上发表论文“New Direction of Cryptography”（密码学的新方向）[8]。这篇重要论文的发表标志着公钥密码学的诞生，Diffie和Hellman也因此在2016年获得图灵奖。
香农对世界的贡献不止是开关理论和信息论，他在图灵机理论和人工智能等领域也有先驱性的工作。
二战前，香农已经开始对可计算性以及图灵机的问题产生浓厚的兴趣。在二战期间他和图灵（Alan Turing）就这些问题进行了多次有趣的讨论。香农给出如何通过两个内部状态构造一个图灵机的方法[9]。这篇出色的论文为图灵机理论的引入打开了一扇大门，具有极为重要的意义。
香农比图灵小四岁，这两位科学巨人是人类文明史上的旷世奇才。实际上，香农在他硕士论文的工作已经奠定了计算机的硬件基础。而图灵也在同一时期发表可程式化的通用型计算机概念，两人的研究像是先知的箴言，指示后人如何进行计算机革命。二战期间，他们二人也都是负责通信加解密的工作，因而有机会见面交流。由于特殊的政治原因，尽管两人都是密码学天才，他们在一起讨论最多的不是密码学，而是人工智能。
1949年，香农发表了“Programming a Computer for Playing Chess, ”（编程实现计算机下棋）[10]，这是人工智能的一个先驱工作。1965年他曾应邀赴莫斯科参加一个工程会议，并顺便会见了多次获国际象棋世界冠军、电器工程师Mikhail Botvinnik，他们一起对弈和讨论了计算机编程下棋。1980年香农还作为特邀贵宾参加了在奥地利的国际计算机象棋冠军赛，贝尔实验室的“Belle”获得了冠军，已接近象棋大师水平。1997年IBM造出了“深蓝”计算机，装入了Chatterbot ALICE计算机程序，并战胜了俄国国际象棋大师和世界冠军Garry Kasparov。这是人类第一次用自己制造的机器在智能上（更确切地说是在下国际象棋的能力上）战胜了自己。由Google旗下DeepMind公司设计的AlphaGo是一款围棋人工智能程序，2015年10月AlphaGo以5:0完胜欧洲围棋冠军、职业二段选手樊麾；2016年3月对战世界围棋冠军、职业九段选手李世石，并以4:1的总比分获胜。这一事件，把世人对人工智能的关注又一次推向高潮。早在1950年香农就发明了会自我学习走迷宫的机械老鼠“Theseus”，成为第一台人工智能装置的雏形。1951年他发表了论文“Presentation of a Maze Solving Machine”（一个走迷宫机器的介绍）[11]，这是一篇计算机学习的先驱著作。1953年香农曾设计了“心灵阅读（Mind Reading）”机[12]，可通过观察、记忆和分析对方过去所做选择的样本，试图猜测对方下一次可能选择。1961年的一天，香农和他在MIT的同事数学家Edward Thorp去斯维加斯赌博，偷偷携带了世界上第一台“便携式计算机”，这个装置可以在转盘小球刚开始转动的时候根据小球运动发现出转盘的偏差，计算出小球落到某些格子的概率可能会更大。回顾人工智能发展的历史，我们不得不说香农做了开拓性的贡献。
香农出席1980年计算机国际象棋大赛
1954年，香农和摩尔（Edward Moore）合作对于不可靠组件的计算进行了理论研究[13]。冯·诺依曼曾对此问题进行过更早期的探讨，但没有任何可观的成果。香农和摩尔利用增加接点的冗余度来提高继电器电路可靠性，这个结果具有重要的理论意义，它与有扰信道传信问题密切相关。1959年，香农发表论文“Coding Theorems for a Discrete Source with Fidelity Criterion”（保真度准则下离散源的编码定理）[14]创建了率失真理论，在连续消息和离散消息之间架上了一座桥梁，从而给信号数字化提供了一个基础和有效的工具。1960年香农发表论文“Two-way Communication Channel”（双向通信信道）[15]，创建了多用户信息论。香农还曾提出将信息论用在生物系统，在他看来，机器和生物是有共性的。当你问他机器是否能思考时，他会回答说，我是一个机器，你是一个机器，我们都能思考，对吗？
香农还做过将信息论用于最佳投资策略问题的研究，他认为股票市场是一种“受扰信号”，与时间序列相关联。问题是要通过适当选择和调整证卷投资组合，使效用函数达到极大值。他提出了一些关于投资增长率的理论，但没有发表，然而，他曾经在麻省理工学院开展了一个关于投资理论的研讨会，当时吸引了成百上千的听众。香农并不是纸上谈兵，他还实际投资了普通市场，并赚了不少钱。他的朋友们听从他的建议，也赚了很多钱。
香农是一个兴趣驱动型的研究者，他不是太关心个人研究成果的商业价值，甚至并不关心成果是否有用。用他自己的话说就是，“我在完全无用的事情上花了大量的时间”。香农对自己的工作是否能得到别人的认可从不感兴趣，他的很多结果都没有公开发表。尽管这样，后人最终还是发现他一共发表了至少125篇论文[16]。
晚年香农
香农酷爱杂耍，他制造过几台杂耍机。人们经常看到他一边骑着独轮车，一边用四个球玩着杂耍，穿行在贝尔实验室的大厅里。他竟然还提出一个杂耍统一场论：用B代表球的数量，H代表手的数量，D表示球在手中度过的时间，F则代表着每个球的飞行时间，E代表每只手不拿球的时间，那么B/H=(D+F)/(D+E)。该理论并不能帮助香农同时扔四个以上的球，他非常严肃地辩解说这是因为他的手比较小的缘故。他有一个专门盛放自己玩具的房间，在这个房间最显眼的位置摆放着一个装裱好的名为“杂耍学博士”的证书，他看起来非常自豪获得了这个证书。
漫画：香农在玩杂耍
1985 年，从不抛头露面的香农羞涩地出现在英国布莱顿举办的IEEE 信息论会议上。会议中途人们才发现他，很多人都以为香农已不在人世。瞬间会场沸腾起来，大会主席说服香农给参会者致辞。香农讲了几分钟，可能是怕听众听得不耐烦，他竟然从口袋里拿出三个小球，玩起了杂耍。观众们彻底疯狂了，排起长队索要签名。 Robert J. McEliece回忆起当时的情景时说，“就好像牛顿出现在了物理学会议”。
香农与中国学者在一起（1986年IEEE ISIT会议，前排左一为西电王新梅教授）
在20世纪80年代，香农的记忆力衰退得越来越厉害，后来他甚至患上了阿尔兹海默症。他在一个私立医院里度过了晚年，逝于2001年2月24日。著名信息论和编码学家Richard Blahut 在香农塑像落成典礼上这样评价他：“在我看来，两三百年之后，当人们回过头来看我们的时候，他们可能不会记得谁曾是美国的总统，可能也不会记得谁曾是影星或摇滚歌星，但是人们仍然会知晓香农的名字，大学里仍然会教授信息论。”这是一句颇具情怀的赞美。
香农塑像
香农创建的信息论影响了世界，也影响了中国。信息论在西安电子科技大学（以下简称西电）的发展历程，可以看作是信息论在中国传播发展的缩影。作为见证人，西电信息论专家王育民教授在他的回忆录《信息论专业发展的几个片段》中有较为翔实的纪录[17]。由于特殊的时代背景和环境，信息论自创立历经十年才开始在中国传播。西电是国内最早（1959年）建立信息论专业的高等院校，在老一辈陈太一院士和胡征教授带领下，肖国镇、梁传甲、王育民、王新梅、汪漱玉等一批学者，创建了我国第一个信息论专业。他们团结友爱，崇尚自由的学术环境，形成了一个享有国际声望的学术团队，为中国培养了一大批信息论人才。密码学扎根于信息论，是西电信息论发展过程中最具特色和影响的一个学科方向。在肖国镇、王育民、王新梅等老一辈密码学专家带领下自上世纪八十年代以来产生了诸如“肖-Massey定理”[18]、“流密码的稳定性理论”[19]、“Xinmei数字签名体制”[20]、“弹性密码函数的设计”[21-25]、“GGH密码算法破译”[26]等一系列具有国际影响力的原创性成果。作者所属的综合业务网理论与关键技术（ISN）国家重点实验室就是在这种信息论环境背景下孕育发展起来的一个科学研究和人才培养基地。可以说香农的精神在西电鼓舞了三代西电人，就连作者本人也一直受到这种精神激励。2016年4月22日，ISN重点实验室举行了纪念香农百年诞辰座谈会，高度评价了香农的历史功绩，回顾了西电信息论的发展历程，是非常有意义的一次纪念活动。
左起：王新梅、肖国镇、陈太一、王育民、梁传甲
肖国镇教授与著名信息论专家、密码学家James L. Massey在西电
纵观香农的一生，他的成功与贝尔实验室所提供的优良环境是分不开的，可以说贝尔实验室是信息科学和技术的摇篮，贝尔既孕育了信息化社会的思想基础——信息论，也孕育了信息化社会的物质基础——晶体管和集成电路。香农在贝尔实验室工作的15年间（1941-1956），贝尔实验室聚集了许多一流的数学家和科学家，如卫星通信专家J. Pierce、信号理论家H. Nyquist、网络反馈专家H. Bode、晶体管发明人W. Brattain, J. Bardeenh和W. Shockley、早期用继电器构建计算机的G. Herdrik、杰出工程师B. Oliver等。香农在这种环境中创建了信息论、现代密码理论以及人工智能等方面的先驱工作。香农说：“在贝尔实验室每一个人都很自由，可以按你的想法做你想做的事，他们不会对你说你要做这个做那个，至少没人对我这样说过。不仅如此，我所在的部门数学研究组的所有人都很聪明和能干，我和他们有很多交往，这是一个非常好的场所。如果我是在其他公司，就要更多地专注于特定的目标，我就不可能像在贝尔那样自由自在地工作。我想我若在大学里也能做出类似的工作，因为大多数大学的研究是完全自由的，如MIT。”
确实如香农所言，在MIT成长了像Robert G. Gallager、 Elwyn R. Berlekamp这样的信息论和编码理论大师，也诞生了像Ivan Sutherland这样的计算机图形学之父和虚拟现实之父。在Ivan Sutherland的博士学位论文答辩时，答辩委员会里除了有香农，还有Marvin Minsky。后者被誉为“人工智能之父”、虚拟现实先驱，同时他也是图灵奖获得者。就连Ivan Sutherland本人也在1988年获得图灵奖。二战后，美国凭借如此优质的学术环境和先进文化，诞生了一大批世界一流的科学家，同时也造就了美国的强大。
西电肖国镇教授在一次访谈中也提到：“良好的学术环境对大学的发展很重要”[27]。生存的法则是“适者生存”，而不是“优者生存”。恶劣的学术环境必然会导致优秀科研人才的“逆淘汰”。
著名信息论专家Robert G. Gallager 2001年在IEEE Transactions on Information Theory上撰文纪念香农[28]，他在文中也不无忧虑地感叹：“如今香农型的研究者无论是在工业界还是在学术界都不受待见，这是一个危险的信号。”
纪念是为了传承，纪念是为了反思。在本文的最后，我们想提出这样一个问题：“在急功近利的今天，在简单粗暴的科研评价体系下，香农型的学者会在中国诞生，并得以成长和成才吗？”
参考文献：
[1] C. E. Shannon, A symbolic analysis of relay and switching circuits, Transactions American Institute of Electrical Engineers, vol. 57, pp. 713–723, 1938.
[2] C. E. Shannon, An Algebra for theoretical genetics, Ph.D Dissertation, Department of Mathematics, MIT, April 15, 1940.
[3] C. E. Shannon, Mathematical Theory of the Differential Analyzer, Journal of Mathematics and Physics, vol. 20, pp. 337-354, 1941.
[4] C. E. Shannon, A mathematical theory of communication (Part 1), Bell System Technical Journal, vol. 27, pp. 397-423, 1948.
[5] C. E. Shannon, A mathematical theory of communication (Part 2), Bell System Technical Journal, vol. 27, pp. 623-656, 1948.
[6] C. E. Shannon, Von Neumann’s contribution to automata theory, Bulletin American Mathematical Society, vol. 64, pp. 123-129, 1958.
[7] C. E. Shannon, Communication theory of secrecy systems, Bell System Technical Journal, vol. 28, pp. 656-715, 1949.
[8] W. Diffie，M. Hellman, New directions in cryptography, IEEE Transactions on Information Theory, vol. 22, pp. 644-654, 1976.
[9] C. E. Shannon, A universal Turing machine with two states, Memo. 54-114-38, Bell Labs. , 1954.
[10] C. E. Shannon, Programming a Computer for Playing Chess, Philosophical Magazine, Series 7, Vol. 41 (No. 314, March 1950), pp. 256-275. (Received Nov. 8, 1949. ) Reprinted in D. N. L. Levy, editor, Computer Chess Compendium, Springer-Verlag, NY, 1988.
[11] C. E. Shannon, Presentation of a Maze Solving Machine, in Cybernetics: Circular, Causal and Feedback Mechanisms in Biological and Social Systems, Transactions Eighth Conference, March 15-16, 1951, New York, N. Y. , edited by H. Von Foerster, M. Mead and H. L. Teuber, Josiah Macy Jr. Foundation, New York, 1952, pp. 169-181.
[12] C. E. Shannon, A Mind-Reading Machine, Typescript, Bell Laboratories, March 18, 1953.
[13] E. F. Moore and C. E. Shannon, Reliable circuits using crummy relays, Memo. 54-114-42, Bell Labs. , 1954.
[14] C. E. Shannon, Coding Theorems for a Discrete Source With a Fidelity Criterion, Institute of Radio Engineers, International Convention Record, Vol. 7 (Part 4, 1959), pp. 142-163.
[15] C. E. Shannon, Two-Way Communication Channels, in Proceedings Fourth Berkeley Symposium Probability and Statistics, June 20 - July 30, 1960 , edited by J. Neyman, Univ. Calif. Press, Berkeley, CA, Vol. I, 1961, pp. 611-644.
[16] Claude Elwood Shannon: Collected Papers, N. J. A. Sloane And A. D. Wyner (Eds. ). IEEE Press, New York, 1993.
[17] 王育民，信息论专业发展的几个片断，西安电子科技大学档案馆，西电往事·永不消逝的电波专栏，
http://dag.xidian.edu.cn/info/1042/1578.htm
[18] Guozhen Xiao, James L. Massey, A spectral characterization of correlation-immune combining functions, IEEE Transactions on Information Theory, vol. 34, pp. 569-571, 1988.
[19] Cunsheng Ding, Guozhen Xiao, WeiJuan Shan, The Stability Theory of Stream Ciphers, Springer Berlin Heidelberg, 1991.
[20] Xinmei Wang, Digital signalture scheme based on error-correcting codes, Electronics Letters, vol. 26, pp. 898-899, 1990.
[21] Yupu Hu, Guozhen Xiao, Resilient functions over finite fields, IEEE Transactions on Information Theory, vol. 49, pp. 2040-2046, 2003.
[22] Weiguo Zhang, Guozhen Xiao, Constructions of almost optimal resilient Boolean functions on large even number of variables, IEEE Transactions on Information Theory, vol. 55, no. 12, pp. 5822-5831, 2009.
[23] Weiguo Zhang, Enes Pasalic, Generalized Maiorana-McFarland construction of resilient Boolean functions with high nonlinearity and good algebraic properties, IEEE Transactions on Information Theory, vol. 60, no. 10, pp. 6681-6695, 2014.
[24] Weiguo Zhang, Enes Pasalic, Constructions of resilient S-boxes with strictly almost optimal nonlinearity through disjoint linear codes, IEEE Transactions on Information Theory, vol. 60, no. 3, pp. 1638-1651, 2014.
[25] Weiguo Zhang, Enes Pasalic, Highly nonlinear balanced S-boxes with good differential properties, IEEE Transactions on Information Theory, vol. 60, no. 12, pp. 7970-7979, 2014.
[26] Yupu Hu, Huiwen Jia, Cryptanalysis of GGH Map, Advances in Cryptology - EUROCRYPT, vol. 9665, pp. 537-565, 2016.
[27] 大学之道——专家教授访谈录，西安电子科技大学出版社，2012年.
http://ste.xidian.edu.cn/html/xueyuanjianjie/mingshizhuanfang/2011/0406/399.html
[28] Robert G. Gallager, Claude E. Shannon: A retrospective on his life, work, and impact, IEEE Transactions on Information Theory, vol. 47, pp. 2681-2695, 2001.
作者简介：
信息论的创始人篇3:信息论的定义
信息论作者：单晓红 转贴自：传播学——世界的与民族的|云南大学出版社 点击数：799
传播过程的一些微观理论，是由信息论来提出和完善的，信息论将以模糊的信息概念用数学概念加以定义，用数学方法加以定量化，它是传播学发展的一项重要理论基础。 香农是一名数学家，他在著名的贝尔电话研究所担任工程师，信息论是他在1948年所著《通讯的数学理论》一文中首次提出的。他的研究成果很快就被运用来研究人际信息的沟通，尽管他自己反对这样做，但因为信息论的研究对于人类社会的信息传递有着深刻的启示意义，所以在1955年，施拉姆首次用信息论来研究大众传播过程。 香农的信息的概念与信息的量的多少是有关联的，信息被定义为Uncertainty不确定性的减少。 为了通讯实践的需要，哈特莱提出，从逻辑上讲，应该用对数单位来度量信息，单位是比特。而香农在这一认识的基础上，用概率论来测量信息的量。 客观世界中有这样的几种现象，一种是事物在一定条件下是必然发生或是必然不发生的，如水加热到一定沸点时会沸腾，这称为必然事件，或是人离开氧气能活下去则必然不会发生，这是不可能事件，这两种情况都具有确定性；而另一种现象则是在一定条件下，可能发生，也可能不发生，如抛起的硬币，落下时可能是“花”面朝上，也可能是“字”面朝上，这被称为随机时间，具有不确定性。计算随机时间发生的可能性大小的量就是概率。 必然发生的事件，即事件是确定的，概率为1，而不可能发生的事件，也具有确定性，概率为0，而随机事件的概率则是介于1和0之间的一个数。 事件是确定的，概率为1，如受者已经知道某件事，传者再对他们传递这件事的讯息所含信息量为0；而如果事件是不确定的，概率为0，受众对某件事一无所知，则传者向他们传递的讯息便含有无穷的信息量。即信息量和该事件发生的概率有相反的关系，成反比，信息量应该是事件概率的倒数的对数函数。 香农把信息量的公式称作不确定性的度量，信息量就是信息受者在收到信息后不确定性减少的数量，信息就是两次不定性之差。用符号表示就是：I=S（Q/X）-S（QX’） I代表信息，Q表示对某件事的疑问，S表示不定性，X为收到讯息前关于Q的知识，X’表示受到讯息后关于Q的知识。如果讯息的内容是原来就知道的，那么受者收到讯息后，就不会引起知识上的变化，即X=X’，不确定性没有减少和消除。如果讯息的内容是受者以前所不知道的，那么收到讯息后就会引起受者知识的变化，不确定性就有所减少成消除。所以信息就是消除或减少受者的某种不确定性。 香农把“熵”这个概念引入信息的度量。1965年法国物理学家克劳修斯首次提出这一概念，后来这一概念由19世纪奥地利物理学家L.玻尔茨曼正式提出。信息论和控制论又赋予了“熵”更新更宽的含义。 熵是一个系统的不确定性或无序的程度，系统的紊乱程度越高，熵就越大；反之，系统越有序，熵就越小。控制论创始人维纳曾说：“一个系统的熵就是它的无组织程度的度量。”熵这个概念与信息联系在一起后，获得这样的思路：信息的获得永远意味着熵的减少，要使紊乱的系统（熵大的系统）有序化（减少熵）就需要有信息，当一个系统获得信息后，无序状态减少或消除（熵减少）；而如果信息丢失了，则系统的紊乱程度增加。一个系统有序程度越高，则熵就越小，所含信息量就越大，反之无序程度越高，则熵越大，信息量就越小，信息与熵是互补的，信息就是负熵，两者互为负值。 信息量=系统状态原有的熵-系统状态确定后的熵 电讯系统不存在功能性因素，即人的主观能动因素，因此不能照搬，但对计算社会信息的量，仍有参考价值。如研究新闻的信息量时就非常有意义。一则新闻讯息中所含信息量的大小是不确定程度的大小决定的，能够最大限度地消除人们对新闻事件认识上的不确定性的讯息，信息量就大，而不能减少受众对新闻事件的认识的不确定的，信息量就小，这与讯息的长度、字数和篇幅无关，不是版面大小、字数多寡、“本报讯”多少就能说明信息的大小的。 1949年，香农和韦弗提出了有关传播的数学模式。 信源—>消息—>编码—>信号—>信道—>信号+噪声—>译码—>消息—>信宿 噪声—>信道 对上图的概念解释如下： 信源：信源就是信息的来源，可以是人、机器、自然界的物体等等。信源发出信息的时候，一般以某种讯息的方式表现出来，可以是符号，如文字、语言等，也可以是信号，如图像、声响等等。 编码：编码就是把信息变换成讯息的过程，这是按一定的符号、信号规则进行的。按规则将信息的意义用符码编排起来的过程就是编码过程，这种编码通常被认为是编码的第一部分。编码的第二部分则是针对传播的信道，把编制好的符码又变换成适于信道中传输的信号序列，以便于在信道中传递，如声音信号、电信号、光信号等等。如信息源产生的原始讯息是一篇文章，用电报传递的时候，就要经过编码，转换成电报密码的信号，然后才能经过信道传播。 信道：就是信息传递的通道，是将信号进行传输、存储和处理的媒介。信道的关键问题是它的容量大小，要求以最大的速率传送最大的信息量。 噪音：是指信息传递中的干扰，将对信息的发送与接受产生影响，使两者的信息意义发生改变。 译码：是对信息进行与编码过程相反的变换过程，就是把信号转换为讯息，如文字、语言等，这是第一步。第二步译码则是指将讯息还原为信息意义的过程。 信宿：是信息的接受者，可以是人也可以是机器，如收音机、电视机等。 作为方法论，香农的这一信息系统模式可以被适用于许多系统，如通信系统、管理系统、社会系统等。传播学学者对这一模式进行改造之后，成为表述人类信息传播的基本模式之一，成为传播学领域最基本的研究范式，而信源、编码、译码、信宿等概念也成为传播学研究的基本概念。 香农的信息论为传播学领域提供了基本的范式，它使以前模糊的信息概念变得在数学上可以操纵。香农的信息论与维纳的控制论是相互影响的，维纳也是最早认识信息论价值的学者，并与香农共同发明了有关信息的熵度量法则。
