首页 > 科技未来 > 内容

来自“肯尼亚”的100PB数据大迁徙,是“云”的全面胜利

发布于:2024-06-17 编辑:匿名 来源:网络

今年2月,春节刚过,北京还被雾霾笼罩。

上地的一家酒店里,阿里云等人正在整装待发。

他们从技术“起点”回来后,推演了各种可能性,确保万无一失,然后决定正式启动“肯尼亚”迁移项目。

肯尼亚横跨赤道,是野生动物的王国。

最具传奇色彩的动物迁徙发生在每年七月至九月。

在阿里云内部,“肯尼亚”迁移项目指的是技术数据迁移。

科技是一家成立于十年前、以云存储起家的高科技企业。

其核心产品之一“个人”(原“网盘”)是国内最早推出的云盘产品之一。

但做云盘的痛苦只有做了才知道。

出于自身发展的综合考虑,科技决定上云。

1.差点用劳斯莱斯来运冰块。

“个人”产品推出后,科技喊出了“变共享”的口号,以其便捷的文件共享功能、无广告、无速度限制,赢得了大量用户的喜爱。

良好的用户体验。

一时间,全国各大论坛、软件厂商、游戏厂商、设计论坛、教育机构、漫画影视行业几乎都在使用“个人”进行文件共享。

截至年末,科技个人注册用户近1.5亿。

与此同时,硬件成本也在不断上升。

机房要租,机器要租,繁重的运维工作让人应接不暇。

科技日常运维需要放置在广东东莞、梅州、佛山等地数据中心的近10万块硬盘。

硬盘不断地读写数据,造成很大的损失。

一旦硬盘损坏,需要及时备份和恢复。

科技为此专门组建了一支“救火队”——七人换版小组。

团队成员背景各异,包括设备运维、网络维护、帮助搬运设备的厨房工作人员等。

当磁盘需要更换时,每个人都会实时响应,并且通常会做好自己的工作。

“消防队”的工作很复杂。

他们不仅需要更换磁盘,有时在数据中心没有硬盘备份的情况下,还得集体出去采购硬盘,或者开车从其他机房运硬盘。

即使机房的制冷、供电系统出现故障,也必须尽快修复。

有一次,大朗机房的空调出现问题,团队需要向现场运送冰块。

由于当天公司还有其他接待任务,车辆紧张,几乎用公司的劳斯莱斯来运冰。

团队蹲在机房一整夜,用风扇吹冰块给设备降温,并密切关注硬盘是否损坏,以便随时更换、重启。

作为网盘行业的资深玩家,Tech的存储技术已经纯熟,但在硬件上却吃够了苦头。

与此同时,网盘的市场格局也在不断变化,用户对网盘体验提出了一些新的要求。

是继续把精力浪费在维护硬件上,还是把全部精力集中在业务创新上?技术已经走到了岔路口。

2. 上云。

想要上云,就必须上云。

只有上云才能解决问题。

这个决定来得突然但又果断。

2018年12月,科技创始人赖林峰突然召开核心成员会议传达这一决定。

没有人提出异议。

但谁都知道,这并不是一件容易的事。

毕竟技术上的数据量已经达到PB了。

一 PB 的数据有多大?按DVD平均容量约4GB计算,相当于10,000张DVD。

如果每天看一张DVD,大约需要0年才能看完。

会议结束的第二天,技术云团队就开始与各个厂商讨论计划。

其中阿里云是最后一位。

高手们互换招式,两三回合之后,就能大致了解对方的底气。

“我们讨论了存储方面的技术问题,发现对方知识渊博。

”阿里云中国解决方案总经理霍佳回忆道。

科技向霍佳承认,已经接触了几家云厂商,而霍佳也大方指出,这个项目比较复杂。

首先,个人是一个在线系统,迁移过程不能影响用户的正常使用,所以这是一个热迁移问题。

其次,个人数据量大,存储和业务系统复杂,需要详细设计。

霍佳表示,技术上云的项目和技术上云的项目非常相似。

两者都是以非结构化数据为主的图像视频业务,存储需求类似;它们也是在线系统,需要保持最新状态。

有了优酷的迁移经验,霍佳更有信心了。

他对整个上云流程进行了分解讲解,找到了关键节点和风险点,并预估了时间。

他的判断是该项目需要 90 天才能完成。

对于技术而言,迁移时间是一个非常敏感的考虑因素。

因为在迁移过程中,公司需要承担双倍的硬件和带宽成本。

“动不动就达到几千万、上亿,谁能扛得住?”尽管深知技术具有时间敏感性,霍佳仍然坚持评估三个月的迁移周期。

“PB级的数据迁移是前所未有的。

这种数据迁移是前所未有的。

我们必须对客户负责。

因为一旦开始工作就没有回头路。

” 3、阿里云在循环评估过程中的专业和坚持,大大增加了我们对技术的信心。

赖林峰在项目结束后也表示,给他印象最深的是阿里云的解决方案是基于实际的,是最接地气的解决方案。

“不像甲方和乙方,而更像是同志、伙伴。

”他评论道。

“我们派了两个同学留在北京科技办公室,了解系统架构和数据的冷热情况。

我们精心制定了迁移计划,并进行了成本评估。

我们还向赖林峰汇报了2019年的情况。

”人。

”霍佳回忆道,“上云最担心的是对业务的影响,我们把所有流程都拆得清清楚楚,对方也放心了。

”春节刚刚过去,这就是代号“肯尼亚” ”在阿里云内。

迁移项目正式启动。

(阿里云上海峰会现场技术演示)阿里云的解决方案是闪电立方+专线迁移同时进行。

Lightning Cube是阿里云年初推出的物理搬迁解决方案。

针对数据量大、时间紧的两地之间的搬迁。

该技术恰恰需要满足这两点。

针对维持系统正常运行的需要,阿里云创新性地采用了闪电立方+专线辅助迁移的方式。

就此而言,自闪电立方问世以来,技术已成为数据的最大使用者。

普通企业的数据量大多为数百TB,达到PB级别的很少。

阿里云当时部署了10套Lightning Cube,其中8套用于迁移,2套用于备份。

当一组在路上运行时,另一组正在加载数据。

当数据加载时,另一组人已经返回。

霍佳回忆道:“这是一个非常精确的过程,过程中不能有任何差错。

”最后一轮上云工作于凌晨开始。

最后一个闪电立方顺利上传了阿里云深圳机房最后一个TB的数据。

凌晨5点,“肯尼亚”项目完成,Lightning Cube停止工作,技术与阿里云完成最后割接。

阿里云和他的团队走出科技位于东莞的办公楼。

广东的初春不再寒冷。

霍家转头对同事们说道:“兄弟们,你们看,没关系,你们当初夸的,都实现了。

”最终,“肯尼亚”项目只用了45天,不到预期三个月的一半。

,也创下了公有云数百PB数据迁移的新纪录。

如今,迁移到云端后,技术摆脱了繁重的运维工作,七人换盘团队也解散了,他们都投入到了更有意义的系统优化和业务创新工作中。

来自“肯尼亚”的100PB数据大迁徙,是“云”的全面胜利

技术共使用了30多个阿里云产品。

除了解决原有机房不稳定的问题外,还在业务层面实现了创新。

它直接使用云端的AI和视频转码技术。

用户可以快速对网盘内容进行分类并进行智能搜索。

借助大规模公有云的力量,科技加速在人工智能等方面的战略布局,进一步完善云生态系统,使基于大数据的云存储、通信、协作成为新的业务增长点。

雷锋网版权文章未经授权禁止转载。

详情请参阅转载说明。

来自“肯尼亚”的100PB数据大迁徙,是“云”的全面胜利

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 日本东丽成功开发Micro LED显示器用材料

    日本东丽成功开发Micro LED显示器用材料

    东丽集团成功开发出可实现LED芯片高速对准的“激光转移脱模材料”和简化LED及布线工序的“粘合材料”。 以及有助于更大尺寸显示器的“基板侧布线材料”,这些材料将大大提高MicroLED(微米发光二极管)显示器的显示性能。 MicroLED显示器不仅在亮度、色域、对比度和可靠性方

    06-08

  • 星泽森获6.5亿元Pre-A轮融资,全力投资边缘计算领域

    星泽森获6.5亿元Pre-A轮融资,全力投资边缘计算领域

    投资界(ID:pedaily)据12月20日消息,成都星泽森通信技术有限公司近日宣布,完成6.5亿元Pre-A轮融资。 本轮融资将用于边缘计算应用领域的技术创新服务平台。 投资方为中时云数字科技(安徽)有限公司。 据中国信息通信研究院预测,2020年我国边缘计算市场规模将达1亿元,未

    06-18

  • 香港IPO遭遇寒流:前9个月融资额同比下降84% 投行削减成本

    香港IPO遭遇寒流:前9个月融资额同比下降84% 投行削减成本

    10月8日消息,据香港文汇报,香港股市新股今年遭遇寒冬,近三年火爆IPO龙头地位被抹去。 被贬入冷宫。 截至今年9月底,香港IPO市场今年共筹集资金56亿美元(约1亿港元),较去年同期的2亿港元大幅下降80%以上。 去年同期。 香港今年在全球IPO排名中也失去了领先地位,排名第五

    06-17

  • 中东“微信”BOTIM推出移动支付,开启阿联酋无现金交易新纪元

    中东“微信”BOTIM推出移动支付,开启阿联酋无现金交易新纪元

    针对新冠病毒全球化迅速蔓延的紧张局势,中东最大即时通讯应用BOTIM阿联酋联合技术合作伙伴PayBy以及战略合作伙伴VISA、万事达卡和银联国际,正式推出移动支付,进一步推动阿联酋进入无现金交易新时代。 BOTIM,阿联酋最大的即时通讯应用,被业界称为中东的“微信”,为应对新

    06-17

  • 中诚信已完成A轮、A+轮融资,科技携手资本,支撑信贷科技智能化升级

    中诚信已完成A轮、A+轮融资,科技携手资本,支撑信贷科技智能化升级

    众所周知,风险管控是金融服务的核心。 随着以大数据、区块链、人工智能为代表的金融科技在中国的快速崛起,以科技驱动的互联网金融为代表的新金融必将成为未来的发展趋势。    据投资界消息,5月23日,中诚信征信在京召开主题为“科技赋能,共赢未来”的中诚信征信战略升级

    06-17

  • 董明珠不屑直播卖货

    董明珠不屑直播卖货

    董明珠也直播。 2月24日晚,董明珠出现在抖音的直播间,宣传自己的产品带货。 而10天前,她还表示“坚持我的下线”。 然而,令人意外的是,格力总部的网络信号竟然如此之差,“卡卡卡”成为了昨晚直播中的最大弊端。 尽管网速变慢,但这并没有影响董明珠的受欢迎程度。 开播第

    06-17

  • 身份管理平台「ZITADEL」获 Nexus Venture Partners 领投的 250 万美元种子轮融资

    身份管理平台「ZITADEL」获 Nexus Venture Partners 领投的 250 万美元种子轮融资

    6 月 13 日独家消息 6 月 10 日,身份管理平台 ZITADEL 宣布完成 1 万美元种子轮融资,由 Nexus Venture Partners 领投Nexus 风险投资伙伴。 本轮融资将帮助ZITADEL为开发者提供满足其身份管理需求的开源解决方案、扩大销售增长并培育开源社区。

    06-17

  • 国内芯片制造商“紫光集团”获40亿元股权融资

    国内芯片制造商“紫光集团”获40亿元股权融资

    据投资界(ID:pedaily)6月4日消息,据中国证券报报道,紫光展锐(上海)科技有限公司完成新一轮融资。 本轮融资金额达40亿元。 投资者包括北京、上海的国资平台,以及工银资本管理有限公司、交银金融资产投资有限公司、人保资本股权投资有限公司等金融机构,中信建投、国泰

    06-18

  • 高瓴张磊受聘担任上海人工智能战略专家咨询委员会议

    高瓴张磊受聘担任上海人工智能战略专家咨询委员会议

    7月8日消息,7月7日,在世界人工智能大会即将开幕之际,上海人工智能战略专家会议于当天下午召开上海市委常委、第十届全国政协副主席李强、上海人工智能战略咨询专家委员会议顾问徐匡迪院士出席会议并讲话。 上海市委副主席、市长龚正致欢迎辞。 委员先后在上海人工智能战略咨

    06-17

  • 【融资24小时】2022年11月3日投融资事件汇总及明细

    【融资24小时】2022年11月3日投融资事件汇总及明细

    今日国内市场共发生13起投资披露事件,医疗健康领域4起(智新浩正、科艺药业、科医医疗)联创、集智医疗)、先进制造案例3个(上海超硅半导体、钛金科技、瑶芯微)、智能硬件案例2个(智翔光电、鄂企翔)、区块链案例1个(成都链安)、汽车交通案例1个(上海)车友汇)、企业

    06-17

  • 瑞幸的九元价格战要结束了吗?

    瑞幸的九元价格战要结束了吗?

    在中国咖啡市场,瑞幸咖啡无疑是一家非常具有传奇色彩的公司。 从最快时间上市到因雷暴退市,从濒临破产到卷土重来再掀起9.9元的价格战,瑞幸的经历可以说是相当可观。 传说,但最近有消息传出,瑞幸9.9元的价格战不会停止,人们不禁好奇失去价格优势的瑞幸怎么了? 1.瑞幸的

    06-17

  • 跨境电商客服系统:功能、优势及选择Udesk的理由

    跨境电商客服系统:功能、优势及选择Udesk的理由

    .wp-block-column h3{margin-left:0} 随着全球电子商务的快速发展,跨境电商商务已成为越来越多企业的业务拓展方向。 在此过程中,优秀的跨境电商客户服务体系显得尤为重要。 本文将详细介绍跨境电商客服系统的功能和优势,以及为什么您应该选择Udesk作为您的客服系统。 一、

    06-17