首页 > 科技启迪 > 内容

纪念香农诞辰一百周年特别版-为什么说纪念香农是纪念牛顿呢?

发布于:2024-06-17 编辑:匿名 来源:网络

克劳德·艾尔伍德·香农(Claude Elwood Shannon),2019年4月30日-2019年2月26日。

香农是美国的数学家和信息论的创始人。

2006年,香农发表文章《通信的数学理论》,提出信息熵的概念,创立信息论。

这篇文章奠定了香农“信息论之父”的地位。

后来,香农继续在这一年出版了《噪声下的通信》。

几十年来,人类科技经历了数字化、智能化、网络化推动的通信和信息革命浪潮。

几十年后,在信息和物质流动的社会中,香农的作品仍然闪烁着智慧的光芒,并将照亮人类社会的未来几个世纪。

对此,雷锋网咨询了专业人士。

“香农的现代信息论永远不会过时。

”有没有人质疑过,随着科学技术的不断发展,香农的信息论可能无法满足现实的要求?答案是否定的。

从根本上来说,信息流和物质流构成了世界。

只要世界的根源是信息和物质,香农揭示的仍然是一条公理。

即使人工智能发展到今天,信息仍然是一切的基础。

从业界角度来看,《通信的数学理论》是20世纪少有的一部对人类发展产生深远影响、可与牛顿力学相媲美的科学专着。

即使一百年后,我们仍然喜欢用这个理论来探索未知的世界。

延续至今的基于香农信息论的技术成果奠定了现代加密的理论基础。

20 世纪 60 年代末,通信与计算机的结合开始了。

通信网络迅速发展,人类开始迈向信息社会。

这就需要信息操作的标准化,加密算法当然也不例外。

标准化对于技术开发、降低成本、推广使用具有重要意义。

我们都知道,美国FBI提出的数据加密标准DES和最新图灵奖获得者斯坦福大学密码学和网络安全技术专家Whitfield Diffie和Martin Hellman提出的公钥加密系统是现代密码学的标志,是现代密码学的基础加密技术。

现代通讯。

然而,你可能不知道,这两个标准或体系都是以香农信息论为基本指导思想的。

香农发表了一篇文章《保密系统的通信理论》,开辟了利用信息论研究密码学的新途径。

本文所基于的理论是 Shannon 在 2006 年为贝尔实验室完成的报告《A Mathematical Theory of Cryptography》。

论文发表后,香农被美国政府聘为政府密码顾问。

DESDES代表Data Encryption Standard,是一种数据加密标准。

它是一种使用密钥加密的算法。

DES 设计中使用的两个分组密码设计原则:混淆和扩散,旨在抵制对手对密码系统的统计分析。

这是 Shannon 论文中提出的设计强密码学思想的一个很好的例子:组合的概念:将简单且易于实现的密码系统组合起来,构建一个密钥量较大的更复杂的密码系统。

香农曾给出两种组合方法,即加权和法和乘积法。

扩散概念:将明文和密钥的每一位尽快扩散成尽可能多的密文数字,以隐藏明文的统计特性。

混淆概念:最小化明文与密文、密钥与密文之间的统计相关性,使统计分析变得更加困难。

信息论是研究和评估保密和认证系统安全性的重要工具,而熵和信息量也是研究和评估隐藏系统的重要工具。

香农曾用揉面团来形象地描述“扩散”和“混乱”的效果。

在密码算法的设计中必须巧妙地运用这??两个概念。

与揉面不同,首先密码变换必须是可逆的,但并不是任何“混乱”都是可逆的;其次,密码变换和反变换要简单、易于实现。

分组密码的多次迭代是前面提到的“产品”组合之一,有助于快速实现“扩散”和“混乱”。

可以说,分组密码设计中的输入分割处理、非线性变换、左右交换以及密钥控制下的多次迭代都是以香农构造密码思想为指导的。

公钥加密系统香农在2008年指出:“设计一个好的密码的问题本质上是寻求一个难题的解决方案。

相对于其他一些条件,我们可以构造密码,使其等价于在某个时刻解决一个已知的数学问题。

”受此影响,Diffie和Herman提出了公钥加密系统。

Diffie和Herman提出的公钥加密体系,包括RSA、Rabin、backpack、ElGamal、ECC、NTRU、多变量公钥等公钥算法,都是基于解决某一数学问题的难度而设计的。

Diffie 和 Herman 的可证明安全理论是为了证明所设计的密码算法是否可以简化为解决一个已知的数学问题。

破译代码的难度、所需的工作量,即时间复杂度和空间复杂度,与解决数学问题的难度密切相关。

计算机科学的一个新分支——计算复杂性理论,与密码学要求的研究密切相关。

扩频通信和调制解调器 在当今的网络社会中,我们离不开电子计算机和通信。

我们用通俗易懂的方式讲一下我们今天所追求的带宽、WiFi、蓝牙、GPS等与香农的关系:根据C.E.香农在信息论研究中总结的信道容量公式,即香农公式:C=W×Log2(1+S/N) 式中:C——信息传输速率,S——有用信号功率,W——频率带宽,N——噪声功率,即也就是说:为了提高信息的传输速率C,可以通过两种方式来实现,要么增加带宽W,要么提高信噪比S/N。

也就是说,当信号传输速率C一定时,信号带宽W和信噪比S/N是可以互换的,即增大信号带宽可以降低对信噪比的要求。

当带宽增加到一定程度时,允许信噪比进一步降低,有用信号功率有可能接近噪声功率,甚至淹没在噪声之下。

扩频通信采用宽带传输技术来换取信噪比的优势。

扩频的出发点是加密,后来主要用于减少干扰。

也是香农公式中提到的另一个因素——信噪比,同样可以获得高带宽。

简单来说,所谓降噪就是带宽越宽,抗干扰能力越强。

但随着带宽的扩大,信号功率却下降,这不符合市场经济的要求。

因此,现代通信不是无限扩大带宽,而是寻找一个平衡点。

基于这个想法,我们还在寻找这个平衡点。

信息论与机器学习 如果我上面提到的仍然是过去和现在的影响,那么你不得不佩服香农预测未来的能力。

香农是最早提出信息智能的学者之一。

人工智能的信息论和机器学习都是涉及计算机科学和应用数学的子领域。

纪念香农诞辰一百周年特别版-为什么说纪念香农是纪念牛顿呢?

这两个交叉学科在起源和应用方面有许多相似之处。

然而,看似神奇的机器学习主要是利用信息论方法来拓展理论研究和应用场景。

例如,关于分类计算,信息论用于创建和改进学习算法。

信息论中的一些度量也可以用作学习算法的度量。

“学习是一个熵减的过程。

”学习的过程也是减少信息干扰的过程。

与基于传统经验公式的机器学习相比,基于信息论的机器学习也具有无可比拟的优势。

好吧,我们举一个更具体的例子。

在上个月AlphaGo的人机大战中,其决策树算法是击败人类的重要武器。

那么,根据NSF《?Information Theory and its Relation to Machine Learning》的博士论文,使用互信息作为学习准则,例如使用信息增益(归一化互信息)构建最小结构化决策树就是应用之一。

这种以信息论为学习准则的原理是将无序数据转化为有序数据,并以信息熵差作为衡量尺度来评价转换效果。

如今,许多研究人员还推测,在机器学习中,所有学习目标的计算表示都可以通过熵函数的优化来描述或解释。

这个猜想给机器学习界提供了一个很好的研究方向。

后记 我们纪念了那么多伟大的人物,不仅仅是为了崇拜他们。

纪念不是扫墓。

我们需要的是继往开来,或者说利用前人的成就去探索更多未知的世界。

香农为我们提供了一种衡量信息的方法,而不是我们如何理解信息。

把地球比作一只兔子,把信息比作兔毛,我们要努力爬到兔毛的顶端。

纪念香农诞辰一百周年特别版-为什么说纪念香农是纪念牛顿呢?

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 湖南德米特仪器股份有限公司宣布完成数千万元A轮融资

    湖南德米特仪器股份有限公司宣布完成数千万元A轮融资

    今日,湖南德米特仪器股份有限公司宣布完成数千万元A轮融资。 本轮融资由大辰创投独家投资。 收到的资金将用于临床质谱技术研发、产品制造、人才队伍扩充和市场推广。

    06-18

  • 打造完整食品供应链,耀铭食品获和致投资领投1亿元B轮融资

    打造完整食品供应链,耀铭食品获和致投资领投1亿元B轮融资

    据投资界3月28日消息,耀铭食品集团股份有限公司(以下简称“耀铭食品”) (“乐禾”)近日完成1亿元B轮融资,由和致投资领投。 乐禾年创立于广州,多年来致力于打造完整的食品供应链。 在上游方面,乐禾与全国专业种植公司、大型农民合作社建立了深度合作关系,用市场引导

    06-17

  • 寻找泰国瑞幸背后的神秘老板

    寻找泰国瑞幸背后的神秘老板

    不管怎样,泰国瑞幸背后的人至少对中国人的消费习惯非常熟悉。 事实上,瑞幸在泰国做的事情可能是与中国游客或居住在泰国的中国人做生意。 这些地雷是三年前埋设的。 2016年12月17日,瑞幸咖啡同意支付1.8亿美元与美国证券交易委员会(SEC)达成和解。 无数人从此松了一口气

    06-18

  • Rampage漫画获得晟道新一轮投资,视频、脱口秀、综艺等IP矩阵全覆盖,

    Rampage漫画获得晟道新一轮投资,视频、脱口秀、综艺等IP矩阵全覆盖,

    据投资界8月2日消息,晟道投资(某资本)近日宣布投资Rampage Comics。 本轮投资后,暴走漫画将继续完善视频内容产品体系,继续探索影视上游开发制作。   Rampage 漫画成立于 。 中国互联网最早的搞笑UGC社区是在横冲直撞漫画网站和APP的帮助下建立的。 月均用户贡献了近百

    06-18

  • 吉卜力公园预开园期间,去看看哈尔的城堡和小月、小梅的故居

    吉卜力公园预开园期间,去看看哈尔的城堡和小月、小梅的故居

    如果能看到真正的哈尔城堡和小月、小梅一家人居住的房子《龙猫》, 《幽灵公主》,琪琪的家在《魔女宅急便》……那会在哪里呢?没错,就是将于 2020 年 11 月 1 日开放的吉卜力公园。 ▲图片来自:吉卜力工作室 位于日本爱知县的爱知世博纪念公园(爱地球博客纪念公园),曾在

    06-21

  • 位于巨头的德国化学公司赢创宣布投资 Richland VC Fund III,

    位于巨头的德国化学公司赢创宣布投资 Richland VC Fund III,

    据投资界8月20日消息,赢创宣布投资Richland VC Fund III。 赢创是全球领先的特种化学品公司,业务遍及许多国家。 通过此次投资,赢创将扩大在中国的风险投资活动,并加深对新兴技术和商业机会的洞察。 赢创创投负责人伯纳德莫尔表示:“中国正在不断加快创新速度,并逐渐成

    06-18

  • 上海国投S基金完成第三次募资扩容

    上海国投S基金完成第三次募资扩容

    投资界消息(ID:pedaily),近日,领导区基金旗下重要功能平台上海国投S基金(以下简称“S基金”)已顺利完成第三次扩容,今年迄今已新增江西金控、东莞松山湖母基金、成都交投等5家新投资者,基金规模超10亿元。 作为S基金基石投资者,浦发创投与基金管理人上海国投频繁合作

    06-18

  • 【全球财经24小时】2024年3月26日投融资事件汇总及详情

    【全球财经24小时】2024年3月26日投融资事件汇总及详情

    欢迎订阅《全球财经24小时》系列文章,动动你的小手指,帮助我们更好更快地获取资讯给你~ 点击此处输入表格摘要。 今日全球市场共发生31起投资披露事件,其中境内15起,境外16起。 其中,国内先进制造业5例、医疗健康行业4例、企业服务业2例、旅游行业1例、娱乐传媒行业1例、

    06-18

  • 高瓴创投推出HTalks:寻找101位顶尖科技企业家

    高瓴创投推出HTalks:寻找101位顶尖科技企业家

    “这个时代能做的最伟大的事情就是通过技术改变世界。 ” “我们希望为世界各地的科学家和工程师提供更多有用的科学仪器,帮助他们改变世界。 ” 11月27日,高瓴创投发起的HTalks正式上线。 HTalks旨在聚集顶尖科技创业者,以7分钟现场演讲的形式分享他们的创业经验、科技创新

    06-17

  • 一二三获阿里巴巴新一轮战略融资,持续连接服装产业上下游

    一二三获阿里巴巴新一轮战略融资,持续连接服装产业上下游

    据投资界9月7日消息,时尚分享平台一二三近日完成新一轮战略融资来自阿里巴巴。 具体金额尚未披露。 本轮融资后,一二三将主要利用资金扩充团队、升级匹配推荐算法系统,并继续打造自有的洗仓配送智能综合运营中心。   一二散于12月成立。 一二三是一款创新的女性时尚月租

    06-18

  • 清华高材生辍学创业,“图源”获数百万美元天使轮融资

    清华高材生辍学创业,“图源”获数百万美元天使轮融资

    据投资界(ID:pedaily)12月9日消息,线上合作3D创作引擎公司“Graphics Origin”近日完成数百万美元天使轮融资,由五源资本投资。 资金将主要用于在线物理引擎的开发、多人协作架构以及海外团队的组建。 Graphic Origin由清华大学本科毕业生史海天在硕士读书期间休学于年底

    06-17

  • 悦达盛大紫荆海岸股权投资母基金成立

    悦达盛大紫荆海岸股权投资母基金成立

    投资行业动态 2019年12月19日,江苏悦大盛大紫荆海岸股权投资母基金在江苏省盐城市成立。   江苏悦达盛大紫荆海岸股权投资基金中的基金是江苏悦达集团与清华控股有限公司共同设立的私募股权投资基金中的基金,委托专业的星投团队进行基金投资管理。 江苏悦大盛大紫荆沿海股

    06-18