拥有90万粉丝的日本第一自媒体《东京新青年》获2000万元投资
06-18
我们的祖先凝视着闪亮的星星，但他们却用了数千年的时间才摸清了天体运行的规律。
我们的前辈坐看潮涌潮，却花了几千代人航行到了大洋彼岸。
而我们自己，在这片土地上繁衍至今，却对我们脚下的土地依然一无所知。
从观测记录到规律预测，几乎就是人类科学史的全部逻辑。
但我们每一次尽力记录数据，都只是涓涓细流，增加了浩瀚的知识??海洋。
当我们拿起笔开始进行复杂的计算时，我们期待着阿基米德从浴缸里跳出来、牛顿举起苹果的那一刻。
王伟涛·博士是这一计算的作者。
他来自中国地震局。
他想知道的是我们脚下地球的每一个细节。
【王伟涛】深思熟虑 我们经历的每一次地震都提醒我们预测和预警此类灾害的紧迫性。
然而，我们离这个目标还很远。
为了更好地了解地震的物理现象，需要极其详细的地壳结构图像，而为了绘制这张地下地图，需要详细的数据计算。
迄今为止人类钻入地下最深的井是前苏联钻的科拉超深井，长约12.2公里。
但地震震源深度往往在地下十余公里至几十公里。
目前的技术无法在焦深处进行直接观测。
因此，我们需要依靠分布在全国各地的数千个地震台站来探测地震波。
地震波在地下的传播特性受地质结构的影响。
这也是利用地震波绘制地下图像的原理。
这些地震站可以感知地震的“大冲击波”，但它们也可以捕获日常的“地球噪音”，例如海洋潮汐冲击大陆的振动。
王伟涛说道。
【基于地震波的地下成像原理/王伟涛·博士提供图片】王伟涛告诉雷锋网，像他这样的地球物理科学家几乎都是半个程序员。
因为从地震波到地下成像，都需要超乎常人想象的大规模程序计算。
他的计算模型是这样的：每次振动都会按照从近到远的顺序传递到各个地震台，所以理论上，每个地震台都会对同一个振动做出自己的记录。
这些数据既不同又不同。
连接。
利用这些数据，可以计算出一些“虚拟地震”。
通过对每两个地震台之间的数据进行互相关对比计算，可以获得研究中国地下整体结构所需的有价值的数据。
【虚拟地震可以模拟与真实地震相同的数据，因此可以用于未发生地震的地区进行地下成像】每个地震波数据都有E、N、Z三个方向（东西向、南北向） ， 垂直的）。
全国永久和临时地震台的数量就是其中之一。
年数据量约为30TB，我们的总数据量已达到PB级别。
由于我们需要将每个地震台站在每个时间点的各个分量数据进行相互比较，计算量呈指数级增长。
王伟涛的智慧和经验恰恰体现在他设计的程序和算法中。
但费尽心力完成这个算法的王伟涛·博士却发现自己刚刚踏上了万里长征的第一步，面前还有巨大的困难。
【图中每两个地震台之间的连接线（灰色）就是需要计算的数据，总的计算量极其巨大。
图片由王伟涛·博士提供】如果用单台机器计算这些数据，大约需要七年时间。
以一个人二十年的职业生涯来看，我在退休前只能完成三笔计算。
在这种情况下，大规模分布式云计算似乎是唯一的选择。
然而，云计算的机制绝非听起来那么轻。
雷锋网还采访了中国地震局合作伙伴阿里云的童鞋。
在他们眼中，云计算就像科学研究一样，汇聚了人类最优秀的智慧。
【单机计算需要的存储空间、计算量以及预计时间/数据由王伟涛博士提供】分布式存储：一个关于农场的游戏“云存储就像一个大农场，每台服务器就像一个工人， “你的数据就像羊一样。
”阿里云存储高级专家程总说，看来他是个牧场高手。
“分布式存储”可以说是分布式计算的基础条件。
换句话说，你的羊必须先放到阿里云的“农场”里，然后它的工作人员帮你打理、喂料、剪线、纺线，对于王伟涛、博士的数据来说，光是存储在云端就需要无数的“黑科技”了。
要进行计算，计算系统将对存储系统进行大规模访问，这些访问必须均匀地分布到服务器上，并且不能出现热点，因为服务器硬件故障将成为一个问题。
大规模集群中的正常事件，必须提供实时的资源调度和容错能力。
例如，确保当一个硬盘被移除时，剩余的硬盘必须快速使用备份数据来赶上存储。
成宗举了上述两个例子。
这两个例子可以转化为一个农场的比喻，大致表达如下：农场必须平均分配工人的工作量，不能出现“羊毛出在羊身上”的情况。
此外，农场里的工人每天都会生病请假。
他们的工作必须在最短的时间内合理地分配给很多人，这样其他工人才不会超负荷。
整个阿里云分布式文件系统被命名为盘古。
在成宗心目中，盘古还是有很多智能“黑科技”的。
他举了一个例子：我们人类看到的都是一样的圆盘，但是盘古看到的圆盘是不同的。
它根据历史访问数据的积累对每个磁盘的健康状况进行评分，例如写入速度和效率。
对于健康状况较差的磁盘，部分工作负载分配会相应减少。
这些底层技术可以为王伟涛和博士接下来的真正算盘做好准备。
成总表示，在分布式计算中，数据带宽已经成为一个重要参数。
在王伟涛和博士看来，不可能把数据存储在自己的服务器上，只能利用阿里云的算力来输出结果。
原理很简单。
分布式计算中的所有服务器都会向存储单元发送数据读取请求。
带宽会瞬间被封锁，算力再强也无法使用。
对于具体数据来说，100M光纤的带宽一般为Mb/s，而硬盘的带宽可以达到几Gb/s，阿里云存储内网访问带宽（云计算系统内部）可以为高达 Tb/s。
批量计算：搭建金字塔 接下来，王伟涛和博士的数据将进入最后的计算阶段。
我对自己习惯的Linux系统很熟悉。
所有的计算代码都是在这个环境下完成的。
如何让我的代码在云计算环境下工作是一个非常重要的问题。
王伟涛说道。
【王伟涛和博士地下成像数据的计算过程】在地震科学研究方面，阿里云显然无法提出算法建议，所以他们需要做的是提供一个通用的接口，让王伟涛可以使用计算机、界面和界面在他自己的机房里。
Linux系统控制云计算。
阿里云提供的兼容性和适应性能力是阿里巴巴计算专家林鹤山颇为自豪的。
博士之前从未使用过分布式集群或“超级计算”，因此直接跳到云端对他来说从运维和控制层面都是一个挑战。
我们提供的计算接口可以让独立程序无需修改即可在云环境中高效执行。
用户只需几个简单的命令，就可以调动云端的大规模计算资源进行分析，而无需学习复杂的分布式计算知识。
其实很多从外地转型到云计算的人都会有这样的问题，所以不仅仅是博士，其他很多用户也会使用我们的通用计算接口。
他说。
此时，大规模计算的障碍已基本清除。
不过，林鹤山告诉雷锋网，云计算真正的核心技术还是在于批量计算的算力调度。
【大规模计算的加速过程和模型】计算规模扩大后，对存储资源的访问会非常频繁。
这时候对访问并发的控制就必须非常“小心”了。
王博士的应用程序有很多小型 I/O 请求。
如果每个I/O请求直接访问云存储，产生的延迟会影响计算效率。
为了进一步优化计算性能，批量计算采用“分布式缓存”策略，将可能提前使用的数据缓存在计算节点周围。
这样，计算能力就不受集群大小的限制。
林鹤山说道。
即便如此，这还不够。
数据访问采用多少“粒度”，是检验系统智能程度的重要时刻。
如果一次读取过多，可能会导致带宽拥塞。
如果一次阅读太少，可能会导致频繁访问。
做出合理的预测并自动读取不同类型的数据是一项艰巨的任务。
打个比方：这就像建造一座金字塔，需要数以万计的“奴隶”一起工作。
工程师必须决定是牺牲速度，一次将多块石头运输到现场，还是牺牲数量，一次快速将一颗石头运输到现场。
同样，面对浩瀚的金字塔工程，每时每刻要分配多少奴隶去搅拌灰浆，要分配多少奴隶去搬运石头，要分配多少奴隶去建造每一块石块？即使是工程师也需要仔细考虑这一点才能完成。
所有任务都要由系统自动完成，难度可想而知。
当然，在如此复杂的计算过程中，经常会出现错误。
林鹤山举了个例子：在渲染追光动画《小门神》时，阿里云的容错机制就发挥了作用。
（高峰时，一台服务器参与大规模批量计算。
）一般来说，视频渲染工作是一个连续的漫长过程。
如果某一帧的渲染中哪怕是一个节点出现问题，都会造成大范围的访问延迟，造成逻辑拥塞，产生“热点”。
林鹤山说：“阿里云的做法是在计算出错后，在最短的时间内重新运行运行。
运行过程中如果确认节点有问题，会自动调度到其他地方。
这些都是对用户来说都很重要。
没有感知，但在幕后，我们必须付出大量努力来绘制地下世界，原本需要一年时间才能计算出中国数千个地震台站数据的计算任务。
云计算48小时内完成计算。
【对地球内部进行成像，就像人体B超一样】这在云计算时代到来之前是不可想象的，这些数据是。
原始地震观测数据的数据产品也是后续科学研究所依赖的重要数据，可以很好地支撑王伟涛后续的研究，从表面上看，计算过程似乎非常顺利，但所有的艰辛我们都刚刚经历过。
才发生。
其背后的代码世界。
【每一步耗时统计/王伟涛博士提供的图片】借用阿里云产品总监李进的话：当计算结果输出时，我们所有的技术人员都沉默了，我们是多么渴望这样的数据。
几十年来计算，这样可以为人类了解地震自然灾害争取宝贵的时间。
“抛开业务的云层，我们可以看到云计算的真正锐度。
”他说。
：到目前为止，我每年只做了一个维度的数据分析。
未来我会继续对更多维度、更多频率的数据进行计算。
科学研究的准确性总是可以提高的。
越来越准确的地下数据将为矿产勘查、防震减灾、地震科学研究提供有力支撑。
科学的有趣之处在于你不断尝试。
有可能一觉醒来想到新的方法，就得重写公式和代码，并通过计算来验证。
也许有一天，属于王伟涛的苹果会悄然落下。
那一刻，是王伟涛的胜利，也是人类计算能力的胜利。
我们竭尽全力提高计算能力，将细流的数据汇聚成强大的力量，只是因为我们不想对脚下的土地一无所知。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-17
06-18
06-17
06-08
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态