工业繁荣!宾福特别合作区又多一个产业基地!
06-06
克劳德·艾尔伍德·香农(Claude Elwood Shannon),2019年4月30日-2019年2月26日。
香农是美国的数学家和信息论的创始人。
2006年,香农发表文章《通信的数学理论》,提出信息熵的概念,创立信息论。
这篇文章奠定了香农“信息论之父”的地位。
后来,香农继续在这一年出版了《噪声下的通信》。
几十年来,人类科技经历了数字化、智能化、网络化推动的通信和信息革命浪潮。
几十年后,在信息和物质流动的社会中,香农的作品仍然闪烁着智慧的光芒,并将照亮人类社会的未来几个世纪。
对此,雷锋网咨询了专业人士。
“香农的现代信息论永远不会过时。
”有没有人质疑过,随着科学技术的不断发展,香农的信息论可能无法满足现实的要求?答案是否定的。
从根本上来说,信息流和物质流构成了世界。
只要世界的根源是信息和物质,香农揭示的仍然是一条公理。
即使人工智能发展到今天,信息仍然是一切的基础。
从业界角度来看,《通信的数学理论》是20世纪少有的一部对人类发展产生深远影响、可与牛顿力学相媲美的科学专着。
即使一百年后,我们仍然喜欢用这个理论来探索未知的世界。
延续至今的基于香农信息论的技术成果奠定了现代加密的理论基础。
20 世纪 60 年代末,通信与计算机的结合开始了。
通信网络迅速发展,人类开始迈向信息社会。
这就需要信息操作的标准化,加密算法当然也不例外。
标准化对于技术开发、降低成本、推广使用具有重要意义。
我们都知道,美国FBI提出的数据加密标准DES和最新图灵奖获得者斯坦福大学密码学和网络安全技术专家Whitfield Diffie和Martin Hellman提出的公钥加密系统是现代密码学的标志,是现代密码学的基础加密技术。
现代通讯。
然而,你可能不知道,这两个标准或体系都是以香农信息论为基本指导思想的。
香农发表了一篇文章《保密系统的通信理论》,开辟了利用信息论研究密码学的新途径。
本文所基于的理论是 Shannon 在 2006 年为贝尔实验室完成的报告《A Mathematical Theory of Cryptography》。
论文发表后,香农被美国政府聘为政府密码顾问。
DESDES代表Data Encryption Standard,是一种数据加密标准。
它是一种使用密钥加密的算法。
DES 设计中使用的两个分组密码设计原则:混淆和扩散,旨在抵制对手对密码系统的统计分析。
这是 Shannon 论文中提出的设计强密码学思想的一个很好的例子:组合的概念:将简单且易于实现的密码系统组合起来,构建一个密钥量较大的更复杂的密码系统。
香农曾给出两种组合方法,即加权和法和乘积法。
扩散概念:将明文和密钥的每一位尽快扩散成尽可能多的密文数字,以隐藏明文的统计特性。
混淆概念:最小化明文与密文、密钥与密文之间的统计相关性,使统计分析变得更加困难。
信息论是研究和评估保密和认证系统安全性的重要工具,而熵和信息量也是研究和评估隐藏系统的重要工具。
香农曾用揉面团来形象地描述“扩散”和“混乱”的效果。
在密码算法的设计中必须巧妙地运用这??两个概念。
与揉面不同,首先密码变换必须是可逆的,但并不是任何“混乱”都是可逆的;其次,密码变换和反变换要简单、易于实现。
分组密码的多次迭代是前面提到的“产品”组合之一,有助于快速实现“扩散”和“混乱”。
可以说,分组密码设计中的输入分割处理、非线性变换、左右交换以及密钥控制下的多次迭代都是以香农构造密码思想为指导的。
公钥加密系统香农在2008年指出:“设计一个好的密码的问题本质上是寻求一个难题的解决方案。
相对于其他一些条件,我们可以构造密码,使其等价于在某个时刻解决一个已知的数学问题。
”受此影响,Diffie和Herman提出了公钥加密系统。
Diffie和Herman提出的公钥加密体系,包括RSA、Rabin、backpack、ElGamal、ECC、NTRU、多变量公钥等公钥算法,都是基于解决某一数学问题的难度而设计的。
Diffie 和 Herman 的可证明安全理论是为了证明所设计的密码算法是否可以简化为解决一个已知的数学问题。
破译代码的难度、所需的工作量,即时间复杂度和空间复杂度,与解决数学问题的难度密切相关。
计算机科学的一个新分支——计算复杂性理论,与密码学要求的研究密切相关。
扩频通信和调制解调器 在当今的网络社会中,我们离不开电子计算机和通信。
我们用通俗易懂的方式讲一下我们今天所追求的带宽、WiFi、蓝牙、GPS等与香农的关系:根据C.E.香农在信息论研究中总结的信道容量公式,即香农公式:C=W×Log2(1+S/N) 式中:C——信息传输速率,S——有用信号功率,W——频率带宽,N——噪声功率,即也就是说:为了提高信息的传输速率C,可以通过两种方式来实现,要么增加带宽W,要么提高信噪比S/N。
也就是说,当信号传输速率C一定时,信号带宽W和信噪比S/N是可以互换的,即增大信号带宽可以降低对信噪比的要求。
当带宽增加到一定程度时,允许信噪比进一步降低,有用信号功率有可能接近噪声功率,甚至淹没在噪声之下。
扩频通信采用宽带传输技术来换取信噪比的优势。
扩频的出发点是加密,后来主要用于减少干扰。
也是香农公式中提到的另一个因素——信噪比,同样可以获得高带宽。
简单来说,所谓降噪就是带宽越宽,抗干扰能力越强。
但随着带宽的扩大,信号功率却下降,这不符合市场经济的要求。
因此,现代通信不是无限扩大带宽,而是寻找一个平衡点。
基于这个想法,我们还在寻找这个平衡点。
信息论与机器学习 如果我上面提到的仍然是过去和现在的影响,那么你不得不佩服香农预测未来的能力。
香农是最早提出信息智能的学者之一。
人工智能的信息论和机器学习都是涉及计算机科学和应用数学的子领域。

这两个交叉学科在起源和应用方面有许多相似之处。
然而,看似神奇的机器学习主要是利用信息论方法来拓展理论研究和应用场景。
例如,关于分类计算,信息论用于创建和改进学习算法。
信息论中的一些度量也可以用作学习算法的度量。
“学习是一个熵减的过程。
”学习的过程也是减少信息干扰的过程。
与基于传统经验公式的机器学习相比,基于信息论的机器学习也具有无可比拟的优势。
好吧,我们举一个更具体的例子。
在上个月AlphaGo的人机大战中,其决策树算法是击败人类的重要武器。
那么,根据NSF《?Information Theory and its Relation to Machine Learning》的博士论文,使用互信息作为学习准则,例如使用信息增益(归一化互信息)构建最小结构化决策树就是应用之一。
这种以信息论为学习准则的原理是将无序数据转化为有序数据,并以信息熵差作为衡量尺度来评价转换效果。
如今,许多研究人员还推测,在机器学习中,所有学习目标的计算表示都可以通过熵函数的优化来描述或解释。
这个猜想给机器学习界提供了一个很好的研究方向。
后记 我们纪念了那么多伟大的人物,不仅仅是为了崇拜他们。
纪念不是扫墓。
我们需要的是继往开来,或者说利用前人的成就去探索更多未知的世界。
香农为我们提供了一种衡量信息的方法,而不是我们如何理解信息。
把地球比作一只兔子,把信息比作兔毛,我们要努力爬到兔毛的顶端。
版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。
标签:
相关文章
06-06
06-17
06-17
06-18
06-18
最新文章
3月,腾讯《王者荣耀》在全球App Store和Google Play吸引了2.57亿美元,同比增长63%
生鲜传奇宣布完成数亿元B+轮融资
裁员20%?红杉中国回应:胡说,员工总数不降反升
第二次影视创新“闯”短剧世界:看、留、跳都是钱
ASML:从飞利浦弃儿到光刻之王
宁康瑞珠获数千万元A轮融资 横琴金投、翰颐资本投资
智能金融服务生态平台科客完成A+轮融资
拼多多九鼎:信息披露无懈可击,竞争对手才是“浇水”的