首页 > 科技未来 > 内容

来自“肯尼亚”的100PB数据大迁徙,是“云”的全面胜利

发布于:2024-06-17 编辑:匿名 来源:网络

今年2月,春节刚过,北京还被雾霾笼罩。

上地的一家酒店里,阿里云等人正在整装待发。

他们从技术“起点”回来后,推演了各种可能性,确保万无一失,然后决定正式启动“肯尼亚”迁移项目。

肯尼亚横跨赤道,是野生动物的王国。

最具传奇色彩的动物迁徙发生在每年七月至九月。

在阿里云内部,“肯尼亚”迁移项目指的是技术数据迁移。

科技是一家成立于十年前、以云存储起家的高科技企业。

其核心产品之一“个人”(原“网盘”)是国内最早推出的云盘产品之一。

但做云盘的痛苦只有做了才知道。

出于自身发展的综合考虑,科技决定上云。

1.差点用劳斯莱斯来运冰块。

“个人”产品推出后,科技喊出了“变共享”的口号,以其便捷的文件共享功能、无广告、无速度限制,赢得了大量用户的喜爱。

良好的用户体验。

一时间,全国各大论坛、软件厂商、游戏厂商、设计论坛、教育机构、漫画影视行业几乎都在使用“个人”进行文件共享。

截至年末,科技个人注册用户近1.5亿。

与此同时,硬件成本也在不断上升。

机房要租,机器要租,繁重的运维工作让人应接不暇。

科技日常运维需要放置在广东东莞、梅州、佛山等地数据中心的近10万块硬盘。

硬盘不断地读写数据,造成很大的损失。

一旦硬盘损坏,需要及时备份和恢复。

科技为此专门组建了一支“救火队”——七人换版小组。

团队成员背景各异,包括设备运维、网络维护、帮助搬运设备的厨房工作人员等。

当磁盘需要更换时,每个人都会实时响应,并且通常会做好自己的工作。

“消防队”的工作很复杂。

他们不仅需要更换磁盘,有时在数据中心没有硬盘备份的情况下,还得集体出去采购硬盘,或者开车从其他机房运硬盘。

即使机房的制冷、供电系统出现故障,也必须尽快修复。

有一次,大朗机房的空调出现问题,团队需要向现场运送冰块。

由于当天公司还有其他接待任务,车辆紧张,几乎用公司的劳斯莱斯来运冰。

团队蹲在机房一整夜,用风扇吹冰块给设备降温,并密切关注硬盘是否损坏,以便随时更换、重启。

作为网盘行业的资深玩家,Tech的存储技术已经纯熟,但在硬件上却吃够了苦头。

与此同时,网盘的市场格局也在不断变化,用户对网盘体验提出了一些新的要求。

是继续把精力浪费在维护硬件上,还是把全部精力集中在业务创新上?技术已经走到了岔路口。

2. 上云。

想要上云,就必须上云。

只有上云才能解决问题。

这个决定来得突然但又果断。

2018年12月,科技创始人赖林峰突然召开核心成员会议传达这一决定。

没有人提出异议。

但谁都知道,这并不是一件容易的事。

毕竟技术上的数据量已经达到PB了。

一 PB 的数据有多大?按DVD平均容量约4GB计算,相当于10,000张DVD。

如果每天看一张DVD,大约需要0年才能看完。

会议结束的第二天,技术云团队就开始与各个厂商讨论计划。

其中阿里云是最后一位。

高手们互换招式,两三回合之后,就能大致了解对方的底气。

“我们讨论了存储方面的技术问题,发现对方知识渊博。

”阿里云中国解决方案总经理霍佳回忆道。

科技向霍佳承认,已经接触了几家云厂商,而霍佳也大方指出,这个项目比较复杂。

首先,个人是一个在线系统,迁移过程不能影响用户的正常使用,所以这是一个热迁移问题。

其次,个人数据量大,存储和业务系统复杂,需要详细设计。

霍佳表示,技术上云的项目和技术上云的项目非常相似。

两者都是以非结构化数据为主的图像视频业务,存储需求类似;它们也是在线系统,需要保持最新状态。

有了优酷的迁移经验,霍佳更有信心了。

他对整个上云流程进行了分解讲解,找到了关键节点和风险点,并预估了时间。

他的判断是该项目需要 90 天才能完成。

对于技术而言,迁移时间是一个非常敏感的考虑因素。

因为在迁移过程中,公司需要承担双倍的硬件和带宽成本。

“动不动就达到几千万、上亿,谁能扛得住?”尽管深知技术具有时间敏感性,霍佳仍然坚持评估三个月的迁移周期。

“PB级的数据迁移是前所未有的。

这种数据迁移是前所未有的。

我们必须对客户负责。

因为一旦开始工作就没有回头路。

” 3、阿里云在循环评估过程中的专业和坚持,大大增加了我们对技术的信心。

赖林峰在项目结束后也表示,给他印象最深的是阿里云的解决方案是基于实际的,是最接地气的解决方案。

“不像甲方和乙方,而更像是同志、伙伴。

”他评论道。

“我们派了两个同学留在北京科技办公室,了解系统架构和数据的冷热情况。

我们精心制定了迁移计划,并进行了成本评估。

我们还向赖林峰汇报了2019年的情况。

”人。

”霍佳回忆道,“上云最担心的是对业务的影响,我们把所有流程都拆得清清楚楚,对方也放心了。

”春节刚刚过去,这就是代号“肯尼亚” ”在阿里云内。

迁移项目正式启动。

(阿里云上海峰会现场技术演示)阿里云的解决方案是闪电立方+专线迁移同时进行。

Lightning Cube是阿里云年初推出的物理搬迁解决方案。

针对数据量大、时间紧的两地之间的搬迁。

该技术恰恰需要满足这两点。

针对维持系统正常运行的需要,阿里云创新性地采用了闪电立方+专线辅助迁移的方式。

就此而言,自闪电立方问世以来,技术已成为数据的最大使用者。

普通企业的数据量大多为数百TB,达到PB级别的很少。

阿里云当时部署了10套Lightning Cube,其中8套用于迁移,2套用于备份。

当一组在路上运行时,另一组正在加载数据。

当数据加载时,另一组人已经返回。

霍佳回忆道:“这是一个非常精确的过程,过程中不能有任何差错。

”最后一轮上云工作于凌晨开始。

最后一个闪电立方顺利上传了阿里云深圳机房最后一个TB的数据。

凌晨5点,“肯尼亚”项目完成,Lightning Cube停止工作,技术与阿里云完成最后割接。

阿里云和他的团队走出科技位于东莞的办公楼。

广东的初春不再寒冷。

霍家转头对同事们说道:“兄弟们,你们看,没关系,你们当初夸的,都实现了。

”最终,“肯尼亚”项目只用了45天,不到预期三个月的一半。

,也创下了公有云数百PB数据迁移的新纪录。

如今,迁移到云端后,技术摆脱了繁重的运维工作,七人换盘团队也解散了,他们都投入到了更有意义的系统优化和业务创新工作中。

来自“肯尼亚”的100PB数据大迁徙,是“云”的全面胜利

技术共使用了30多个阿里云产品。

除了解决原有机房不稳定的问题外,还在业务层面实现了创新。

它直接使用云端的AI和视频转码技术。

用户可以快速对网盘内容进行分类并进行智能搜索。

借助大规模公有云的力量,科技加速在人工智能等方面的战略布局,进一步完善云生态系统,使基于大数据的云存储、通信、协作成为新的业务增长点。

雷锋网版权文章未经授权禁止转载。

详情请参阅转载说明。

来自“肯尼亚”的100PB数据大迁徙,是“云”的全面胜利

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 成都银行正式递交IPO申请 拟发行不超8亿股普通股

    成都银行正式递交IPO申请 拟发行不超8亿股普通股

    成都银行已正式提交IPO申请,拟在上海证券交易所发行不超过8亿股人民币普通股(A股)。 ),募集资金将用于补充资本金、增强可持续发展能力。   IPO是成都银行实现建设优秀股份制银行目标的重要战略举措。 成都银行上市不仅有利于增强资本实力、提高市场竞争力,也有利于进

    06-17

  • 日报优鲜孵化的无人零售“便利购物”获2亿美元融资,腾讯领投A轮,鼎晖领投B轮,

    日报优鲜孵化的无人零售“便利购物”获2亿美元融资,腾讯领投A轮,鼎晖领投B轮,

    据投资界12月29日消息,生鲜零售平台天天耀明正式宣布,旗下孵化了半年的无人零售项目便利店,近日已分拆为独立运营的子公司并获得2亿美元A+B轮融资。    其中,腾讯领投A轮投资,总额1万美元,元生资本、时代资本、KTB跟投;鼎晖投资共计1.44亿美元B轮领投,北极光创投、

    06-18

  • 工信部:下架艺龙酒店等37款APP

    工信部:下架艺龙酒店等37款APP

    工信部此前已向社会公布了侵犯用户权益的APP企业名单。 截至目前,经第三方检测机构核查复检,仍有37款APP未按照我部要求完成整改,包括新版星辰、艺龙酒店、草莓视频、东风出行、相机等APP。 工业和信息化部组织下架上述37款App。 本通知发布后,相关应用商店应立即组织下架

    06-18

  • 货拉拉完成3亿美元D轮融资,2018年业务量增长近200%

    货拉拉完成3亿美元D轮融资,2018年业务量增长近200%

    据投资界2月21日消息,从相关媒体获悉,同城货运平台货拉拉已完成高瓴资本D1投资。 红杉资本中国基金领投D2轮融资。 本轮融资总额为3亿美元。 钟鼎资本和光伏资本也参与了投资。 顺为资本、祥和资本、MindWorks Ventures、零一创投等老牌投资股东也持续跟投,广元资本担任本次

    06-17

  • 科技部:重点支持符合国家战略和战略性新兴产业的高新技术企业在创业板上市

    科技部:重点支持符合国家战略和战略性新兴产业的高新技术企业在创业板上市

    科技部、深圳市人民政府关于印发的通知:支持深圳市制定新建研发机构扶持政策的项目申请和分类。 推进创业板改革,实行注册制,推进发行、上市、信息披露、交易、退市等基础性制度改革。 优化政策环境,重点支持符合国家战略的高新技术产业和战略性新兴产业高新技术企业在创业

    06-17

  • 9.1GWh! Fortescue计划在西澳部署全球最大电池储能项目

    9.1GWh! Fortescue计划在西澳部署全球最大电池储能项目

    据外媒报道,澳大利亚矿商Fortescue金属集团近日表示,已向西澳环保局提交了建设Uaroo可再生能源中心的提案。 该项目的公众咨询期将开放一周,直至 2 月 15 日。 公众咨询已经开始就一项大型可再生能源项目的计划进行,该项目将包括为 Fortescue 采矿设施提供电力的电网规模电

    06-08

  • element14 社区公布“第六感”设计挑战赛获奖者

    element14 社区公布“第六感”设计挑战赛获奖者

    社区成员使用意法半导体 SensorTile 和 TE Con??nectivity 组件包设计自动驾驶汽车 中国上海,2019 年 4 月 29 日 – 电子元件和开发服务全球分销商 element14 Community,在线社区element14旗下工程师公布了“第六感”设计挑战赛的获奖者。 作为element14社区年度五大挑战赛

    06-06

  • 君联资本蔡大庆:医疗健康领域投资看重人才,聚焦新模式

    君联资本蔡大庆:医疗健康领域投资看重人才,聚焦新模式

    近年来,健康医疗成为VC/PE策略师的必争之地。 健康医疗行业也因其巨大的市场和不断涌现的创新技术和模式,成为竞争的温床。 ,及其抗周期性,被誉为“永远的朝阳产业”。 君联资本重点关注的TMT、健康医疗、清洁科技、现代服务、先进制造、消费品六大领域中,医疗健康成为其

    06-18

  • 阿里云副总裁任庚:打造共生、创造、互惠的创业生态

    阿里云副总裁任庚:打造共生、创造、互惠的创业生态

    10月12日上午,阿里巴巴年度创新创业峰会在云栖小镇国际会展中心举行。 阿里云副总裁任庚发表主题为《遇见双创 预见未来》的主题演讲。 任庚认为,大众创业、万众创新不仅是国家竞争力的体现,也是DT时代的历史机遇,更是阿里巴巴经济体的责任和担当。 阿里巴巴如何做大众创

    06-17

  • RedBlock获得上市公司The Ninth City战略投资

    RedBlock获得上市公司The Ninth City战略投资

    7月11日消息,近日,区块链金融科技公司RedBlock宣布获得纳斯达克上市公司The Ninth City战略投资。 除了获得九城的资金支持外,RedBlock还将依托九城的产业布局,与九城及其关联公司在海外业务和资产数字化方面开展战略合作。 RedBlock源自硅谷,致力于成为资产数字化领域的

    06-18

  • 人人网计划今年赴美IPO融资5亿美元

    人人网计划今年赴美IPO融资5亿美元

    据投资界2月21日消息,据外媒报道,中国社交网站人人网计划今年赴美上市。   据透露,投行摩根士丹利、德意志银行和瑞士信贷将担任人人网首次公开募股的联席证券承销商。 据人士透露,人人网将于今年6月前向美国证监会提交上市申请。   商业社交网络LinkedIn上个月宣布,

    06-18

  • 《广州2000年亿母基金管理办法》正式颁布

    《广州2000年亿母基金管理办法》正式颁布

    日前,广州市政府常务会议审议通过《广州产业投资母基金、广州创新投资母基金管理办法及配套激励约束制度》(以下简称《管理办法》)。 1亿元产业基金中的基金发挥“促投资、促生产”作用,采用“王牌基金+直投”方式开展投资运作;亿元创投基金中的基金发挥“以投促创业”的

    06-17