首页 > 科技启迪 > 内容

纪念香农诞辰一百周年特别版-为什么说纪念香农是纪念牛顿呢?

发布于:2024-06-17 编辑:匿名 来源:网络

克劳德·艾尔伍德·香农(Claude Elwood Shannon),2019年4月30日-2019年2月26日。

香农是美国的数学家和信息论的创始人。

2006年,香农发表文章《通信的数学理论》,提出信息熵的概念,创立信息论。

这篇文章奠定了香农“信息论之父”的地位。

后来,香农继续在这一年出版了《噪声下的通信》。

几十年来,人类科技经历了数字化、智能化、网络化推动的通信和信息革命浪潮。

几十年后,在信息和物质流动的社会中,香农的作品仍然闪烁着智慧的光芒,并将照亮人类社会的未来几个世纪。

对此,雷锋网咨询了专业人士。

“香农的现代信息论永远不会过时。

”有没有人质疑过,随着科学技术的不断发展,香农的信息论可能无法满足现实的要求?答案是否定的。

从根本上来说,信息流和物质流构成了世界。

只要世界的根源是信息和物质,香农揭示的仍然是一条公理。

即使人工智能发展到今天,信息仍然是一切的基础。

从业界角度来看,《通信的数学理论》是20世纪少有的一部对人类发展产生深远影响、可与牛顿力学相媲美的科学专着。

即使一百年后,我们仍然喜欢用这个理论来探索未知的世界。

延续至今的基于香农信息论的技术成果奠定了现代加密的理论基础。

20 世纪 60 年代末,通信与计算机的结合开始了。

通信网络迅速发展,人类开始迈向信息社会。

这就需要信息操作的标准化,加密算法当然也不例外。

标准化对于技术开发、降低成本、推广使用具有重要意义。

我们都知道,美国FBI提出的数据加密标准DES和最新图灵奖获得者斯坦福大学密码学和网络安全技术专家Whitfield Diffie和Martin Hellman提出的公钥加密系统是现代密码学的标志,是现代密码学的基础加密技术。

现代通讯。

然而,你可能不知道,这两个标准或体系都是以香农信息论为基本指导思想的。

香农发表了一篇文章《保密系统的通信理论》,开辟了利用信息论研究密码学的新途径。

本文所基于的理论是 Shannon 在 2006 年为贝尔实验室完成的报告《A Mathematical Theory of Cryptography》。

论文发表后,香农被美国政府聘为政府密码顾问。

DESDES代表Data Encryption Standard,是一种数据加密标准。

它是一种使用密钥加密的算法。

DES 设计中使用的两个分组密码设计原则:混淆和扩散,旨在抵制对手对密码系统的统计分析。

这是 Shannon 论文中提出的设计强密码学思想的一个很好的例子:组合的概念:将简单且易于实现的密码系统组合起来,构建一个密钥量较大的更复杂的密码系统。

香农曾给出两种组合方法,即加权和法和乘积法。

扩散概念:将明文和密钥的每一位尽快扩散成尽可能多的密文数字,以隐藏明文的统计特性。

混淆概念:最小化明文与密文、密钥与密文之间的统计相关性,使统计分析变得更加困难。

信息论是研究和评估保密和认证系统安全性的重要工具,而熵和信息量也是研究和评估隐藏系统的重要工具。

香农曾用揉面团来形象地描述“扩散”和“混乱”的效果。

在密码算法的设计中必须巧妙地运用这??两个概念。

与揉面不同,首先密码变换必须是可逆的,但并不是任何“混乱”都是可逆的;其次,密码变换和反变换要简单、易于实现。

分组密码的多次迭代是前面提到的“产品”组合之一,有助于快速实现“扩散”和“混乱”。

可以说,分组密码设计中的输入分割处理、非线性变换、左右交换以及密钥控制下的多次迭代都是以香农构造密码思想为指导的。

公钥加密系统香农在2008年指出:“设计一个好的密码的问题本质上是寻求一个难题的解决方案。

相对于其他一些条件,我们可以构造密码,使其等价于在某个时刻解决一个已知的数学问题。

”受此影响,Diffie和Herman提出了公钥加密系统。

Diffie和Herman提出的公钥加密体系,包括RSA、Rabin、backpack、ElGamal、ECC、NTRU、多变量公钥等公钥算法,都是基于解决某一数学问题的难度而设计的。

Diffie 和 Herman 的可证明安全理论是为了证明所设计的密码算法是否可以简化为解决一个已知的数学问题。

破译代码的难度、所需的工作量,即时间复杂度和空间复杂度,与解决数学问题的难度密切相关。

计算机科学的一个新分支——计算复杂性理论,与密码学要求的研究密切相关。

扩频通信和调制解调器 在当今的网络社会中,我们离不开电子计算机和通信。

我们用通俗易懂的方式讲一下我们今天所追求的带宽、WiFi、蓝牙、GPS等与香农的关系:根据C.E.香农在信息论研究中总结的信道容量公式,即香农公式:C=W×Log2(1+S/N) 式中:C——信息传输速率,S——有用信号功率,W——频率带宽,N——噪声功率,即也就是说:为了提高信息的传输速率C,可以通过两种方式来实现,要么增加带宽W,要么提高信噪比S/N。

也就是说,当信号传输速率C一定时,信号带宽W和信噪比S/N是可以互换的,即增大信号带宽可以降低对信噪比的要求。

当带宽增加到一定程度时,允许信噪比进一步降低,有用信号功率有可能接近噪声功率,甚至淹没在噪声之下。

扩频通信采用宽带传输技术来换取信噪比的优势。

扩频的出发点是加密,后来主要用于减少干扰。

也是香农公式中提到的另一个因素——信噪比,同样可以获得高带宽。

简单来说,所谓降噪就是带宽越宽,抗干扰能力越强。

但随着带宽的扩大,信号功率却下降,这不符合市场经济的要求。

因此,现代通信不是无限扩大带宽,而是寻找一个平衡点。

基于这个想法,我们还在寻找这个平衡点。

信息论与机器学习 如果我上面提到的仍然是过去和现在的影响,那么你不得不佩服香农预测未来的能力。

香农是最早提出信息智能的学者之一。

人工智能的信息论和机器学习都是涉及计算机科学和应用数学的子领域。

纪念香农诞辰一百周年特别版-为什么说纪念香农是纪念牛顿呢?

这两个交叉学科在起源和应用方面有许多相似之处。

然而,看似神奇的机器学习主要是利用信息论方法来拓展理论研究和应用场景。

例如,关于分类计算,信息论用于创建和改进学习算法。

信息论中的一些度量也可以用作学习算法的度量。

“学习是一个熵减的过程。

”学习的过程也是减少信息干扰的过程。

与基于传统经验公式的机器学习相比,基于信息论的机器学习也具有无可比拟的优势。

好吧,我们举一个更具体的例子。

在上个月AlphaGo的人机大战中,其决策树算法是击败人类的重要武器。

那么,根据NSF《?Information Theory and its Relation to Machine Learning》的博士论文,使用互信息作为学习准则,例如使用信息增益(归一化互信息)构建最小结构化决策树就是应用之一。

这种以信息论为学习准则的原理是将无序数据转化为有序数据,并以信息熵差作为衡量尺度来评价转换效果。

如今,许多研究人员还推测,在机器学习中,所有学习目标的计算表示都可以通过熵函数的优化来描述或解释。

这个猜想给机器学习界提供了一个很好的研究方向。

后记 我们纪念了那么多伟大的人物,不仅仅是为了崇拜他们。

纪念不是扫墓。

我们需要的是继往开来,或者说利用前人的成就去探索更多未知的世界。

香农为我们提供了一种衡量信息的方法,而不是我们如何理解信息。

把地球比作一只兔子,把信息比作兔毛,我们要努力爬到兔毛的顶端。

纪念香农诞辰一百周年特别版-为什么说纪念香农是纪念牛顿呢?

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 工业繁荣!宾福特别合作区又多一个产业基地!

    工业繁荣!宾福特别合作区又多一个产业基地!

    芯海半导体 3月18日上午,杭州芯海半导体集成电路先进测试基地在滨富特别合作区奠基。 杭州芯海半导体集成电路先进测试基地总面积为亩。 该项目分两期建设。 一期建设规划57亩。 建设试验厂房、发电站、研发生产楼、综合楼、宿舍楼等,计划2020年竣工。 全部建成。 集成电路产

    06-06

  • 奇数科技完成B轮融资

    奇数科技完成B轮融资

    投资界(ID:pedaily)11月4日报道,奇数科技近日完成新一轮融资,金山云为投资方。 此前,奇数科技已获得红杉中国和红点中国的两轮投资。 据了解,奇数科技是一家人工智能和大数据软件提供商,为全球各行业客户提供人工智能和新一代数据库产品。 公司产品是以新一代云数据库

    06-17

  • 东车日报|苹果发布新款CarPlay,可控制车辆功能-前途K20开始预售-领克发布新概念车

    东车日报|苹果发布新款CarPlay,可控制车辆功能-前途K20开始预售-领克发布新概念车

    简介 领克发布Next Day概念车前途K20开始预售,预售售价8.68万元 自从丰田宣布推出卡罗拉官方写真集以来,副总裁和朱江相继辞职,加盟不到半年。 多家车企表示,芯片危机正在缓解比亚迪应对更换零部件的影响。 “三电三保”宝马、福特或将迎来首批固态电池组。 丰田发布O-Uch

    06-21

  • 飞机也需要纯电动吗?新电池让梦想成为现实

    飞机也需要纯电动吗?新电池让梦想成为现实

    你见过纯电动商用飞机吗?我们都没有。 作为一名电池设计师,卢克Workman有一个想法,可以在不久的将来将其变为现实。 他希望优化现有电池技术,重新设计飞机上的电池布局,使其在长途旅行中更加有效和高效。 Luke Yao 向 News Atlas 解释了他对电池设计的想法,以及电池设计

    06-17

  • Teledyne e2v 扩展了 Emerald CMOS 成像传感器产品线,新增了用于机器视觉和智能交通系统的 8.9 兆像素探测器

    Teledyne e2v 扩展了 Emerald CMOS 成像传感器产品线,新增了用于机器视觉和智能交通系统的 8.9 兆像素探测器

    Teledyne Technologies 旗下的全球成像解决方案技术创新公司 Teledyne e2v 宣布推出 Emerald CMOS 成像传感器产品线样品最新成员 Emerald 8M9 专为机器视觉和智能交通系统 (ITS) 应用而设计,现已上市。 Emerald 8M9 采用小型 2.8 m 低噪声全局快门像素,与其他 CMOS 成像传

    06-06

  • 2000后的“电商粉”没什么可看的

    2000后的“电商粉”没什么可看的

    电商粉这个直播间的新职业,在今年双11之后就出圈了,所谓的彭客即直播中枢控制,通过与主播合作制造紧张感和购买冲动,“引诱”人们下单。 门槛低,需求高。 许多年轻人人纷纷涌入这个行业。 由于流动性大、压力大,一些年轻人也将其视为“青春米”和跳板。 来自北方省份的2

    06-18

  • 清华初创证券公司“水木御林”完成数千万元天使轮融资

    清华初创证券公司“水木御林”完成数千万元天使轮融资

    据投资界(ID:pedaily)9月9日消息,据36氪报道,初创证券公司“水木御林”完成数千万元天使轮融资< titlesplit >公司“水木榆林”近日完成数千万元天使轮融资。 本轮投资方包括前沿基金、银杏谷资本、斗象科技、海南层林等。 本轮融资后,公司将继续投入产品研发,持续拓展

    06-17

  • 安全事故频发,高端订单下降,采购订单砍价,张忠谋退休后台积电何去何从

    安全事故频发,高端订单下降,采购订单砍价,张忠谋退休后台积电何去何从

    核心理念2018年6月5日,张忠谋在股东大会上正式卸任台积电董事长,正式退休。 从此,台积电进入了“后张忠谋”时代。 估计张忠谋也没想到,他一退休,台积电就进入了非常时期。 连续发生安全事故的半年内,台积电就发生了两起安全事故。 震惊业界! 2020年1月28日18时,台积电

    06-06

  • 优衣库母公司明年或赴港上市,打造品牌形象

    优衣库母公司明年或赴港上市,打造品牌形象

    优衣库母公司或明年赴港上市,打造品牌形象。 据8月27日消息,有外媒报道称,零售商优衣库母公司日本大型休闲服装连锁店迅销集团将于明年初在香港上市。 最快将于下个月提交上市申请,预计2月份挂牌交易。

    06-18

  • 华为恒源完成数千万Pre-A+轮融资,丹鹿资本领投

    华为恒源完成数千万Pre-A+轮融资,丹鹿资本领投

    投资圈(ID:pedaily)据12月5日消息,华为恒源(北京)生物医疗科技有限公司完成融资数百万Pre-A+轮融资。 万Pre-A+轮融资。 本轮融资由丹露资本领投,瑞盛投资、元和资本等新股东跟投。 本轮募集资金将主要用于华为恒源核心管线的安全性验证、工艺开发和临床应用、后续生产

    06-17

  • SaaS服务商EventBank捷会易获金沙江创投数千万元B轮融资

    SaaS服务商EventBank捷会易获金沙江创投数千万元B轮融资

    据投资界3月3日消息,全球营销及会员管理SaaS服务商EventBank捷会易宣布完成融资获得金沙江创投A轮融资。 B轮融资数千万人民币。 此外,金沙江创投负责人合伙人朱啸虎将加入EventBank捷会易全球董事会。 此前,EventBank捷会易还获得了创投工场、久奇软件、用友幸福投资、富翔

    06-18

  • 高精地图公司AIRLOOK完成5000万元B轮融资,由纪源资本领投

    高精地图公司AIRLOOK完成5000万元B轮融资,由纪源资本领投

    投资界近日,国内空间大数据服务商AIRLOOK宣布获得纪源资本投资,BV百度创投跟投此前B轮融资万元人民币的投资人。 本轮融资将用于核心产品稳定、服务升级、市场建设以及公司人才发展计划。   AIRLOOK成立于2018年9月,致力于打造空间数据采集、处理、分发和应用的生态闭环。

    06-17