首页 > 科技未来 > 内容

S3 对象存储:一个伟大的设计

发布于:2024-06-21 编辑:匿名 来源:网络

编者注:开始无服务器软件开发有必要知道这个故事:为什么 AWS 在 中发布了 S3 对象存储,然后又在 中发布了 AWS Lambda(无服务器)?让我们一起探讨其背后的故事,希望对您将软件项目迁移到无服务器平台有所启发。

0 #CloudMadness 选民不会错。

Amazon S3 是有史以来最伟大的云服务。

真的,你永远不知道这样的人气竞赛会如何进行。

不过,在这种情况下,我认为选民做出了正确的决定。

而且我有一个理由! S3是OG云服务。

根据你如何定义它,“简单存储服务/简单存储服务”可能不是AWS的第一个产品——SQS实际上是最先推出的,但在一段时间后才被使用。

在生产环境中。

无论如何,仅靠消息队列管理产品并不能说服大多数企业考虑公共云。

分布式存储解决方案,可以根据您的数据弹性扩展,无需任何额外的运维投资。

正如 AWS 的 Mike Deck 在投票激烈时在 Twitter 上所说:“我认为您没有意识到,在 00 年代末,拥有几乎无限的、高度耐用的移动存储并不需要您还记得您必须每 7 天循环一次驱动器吗?或者将一卡车数据备份磁带运送到异地灾难恢复位置吗?但 S3 已经不仅仅是一个数据存储库,它为包括 Netflix、维基百科和纽约时报在内的数千个网站提供内容。

事实上,S3 已经“标准化”了。

S3 API,以至于 Google 的竞争产品也开箱即用地支持 S3 API,这就是为什么当 S3 在某个地区出现罕见的可用性中断时,似乎有一半的互联网服务出现故障,很难想象其他的情况。

云服务——也许CDN除外,例如密切相关的CloudFront——具有这样的影响。

此时,S3 是基本的互联网基础设施,并且它将继续长期存在,因为 S3 是一个工程奇迹。

分布式存储仍然是计算机科学中最困难的问题之一,尤其是在大规模方面。

历史上曾出现过很多存储管理服务,但由于无法维护客户数据的完整性而被淘汰,而数据是客户最宝贵的资源。

考虑到这一点,S3 的耐用性保证 - 11 9 位小数,你在开玩笑吗? ——代表了令人惊叹的工程壮举。

从这个角度来看,你个人更有可能被流星击中,而不是失去一百万个 S3 物体中的一个。

看看 S3 副总裁 Mai-Lan Tomsen Bukovec 的精彩 re:Invent 主题演讲,不要被数字吓到:TB 级的数据,数万亿个对象,不仅仅是一个微服务,还会有这个数据分布在数量未知的物理设施中。

她谈论的是规范的“正确性验证算法”、松散耦合系统之间的校验和,以及硬盘驱动器何时出现故障的复杂精算预测模型。

AWS 具有自动“持久性审核”功能,可重复捕获 S3 数据的每个字节,以验证您存储的数据在检索时是否正确。

他们根据近 15 年以难以想象的规模运营 S3 的经验不断更新这些工具。

所有这一切都是为了七年前我可以通过在命令行中输入“s3sync”来上传随机源代码文件。

说实话,当时我觉得有点不值钱。

当然,多年来 S3 添加了大量功能,其中一些功能比其他功能更专业(S3 接入点,有人知道它们是什么吗?),但核心理念保持不变:您可以存储任意数量的内容你想要多少个对象,想保存多久就保存多久,而且它们永远不会崩溃。

驱动器故障,数据中心离线,但S3仍然存在。

这就是为什么我们开发人员认为它是理所当然的,你可以围绕它构建整个架构:就像太阳升起一样,S3 会在早上出现,除非发生行星灭绝事件。

这就是它真实的、无可置疑的伟大之处。

没有 S3,就无法拼出 s3rverless 当然,当我们大多数人听到“serverless”这个词时,我们的大脑就会跳到另一个服务——AWS Lambda,最初的 FaaS(函数即服务/Functions as a Service)迎来了一代无状态应用程序以及 HackerNews 上讨论的焦点。

(Lambda 在#CloudMadness 民意调查中紧随其后位居第二并非巧合)。

然而,多年来一直在 iRobot 构建无服务器应用程序并在民意调查中大力倡导 S3 的 Ben Kehoe 告诉我,“S3 是无服务器云计算的缩影”,并补充道,“它解决了每个人都遇到的问题。

这是一个非常难以解决的问题,它有一个(相对)简单的 API,可以扩展到您的互联网服务可以生成的任何存储访问流量,但您只需支付标准费率的存储成本。

而且,它不断地执行。

无需用户采取任何操作即可得到改进。

”Lambda 的发明者 Tim Allen Wagner 表示,Lambda“实际上是作为 S3 的一个分支开始的,而不是 EC2。

因此,S3 给世界带来了另一项革命性的东西!” 没错:整个无服务器革命的起点 它是作为一项为 S3 事件创建触发器的服务而启动的。

瓦格纳记得他职业生涯中“最可怕的时刻”之一就是集成 Lambda S3:“在那些日子里,这就像用消防水龙带指向迪克西杯一样。

幸运的是,S3 拥有一个令人惊叹的架构和团队,Lambda 已经成长为可以大规模使用的非常大的“鞋子”。

“虽然 S3 可能是有史以来最伟大的云服务,”Kehoe 补充道,“Lambda 也值得赞扬,因为它成功地将云计算用户的关注点从‘在我的服务器中,这部分由其他人管理’。

云计算服务很有用。

” ”到“哇,我可以用这些服务做任何事情。

S3 对象存储:一个伟大的设计

”这是托管计算资源(云计算)的一个进化步骤,但它完全改变了开发人员的思考方式“这才是真正的底线,不是吗? S3 与其他基础 AWS 服务(例如 EC2 和 Elastic Load Balancer)一起建立了构建模块,在过去十年中实现了更高级别产品创新的寒武纪爆发。

虽然 S3 可能不再是闪亮的新事物,但值得回顾并欣赏 AWS 多年来为我们提供的存储优化服务,它们像引擎盖下的引擎一样默默工作,但这并不简单。

毕竟,从云端看世界就是站在巨人的肩膀上。

S3是一个巨人。

(作者 Forrest Brazeal 是 AWS 无服务器产品布道者和企业架构师,曾领导云计算资源采购组织从初创公司到财富 50 强公司。

S3 对象存储:一个伟大的设计

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 疫情影响下的MWC:赞助商退出、湖北人员被禁止入场、参与者“不握手”

    疫情影响下的MWC:赞助商退出、湖北人员被禁止入场、参与者“不握手”

    目前看来,新冠病毒疫情对科技行业的影响不小。 半个月后,科技界将集体聚焦西班牙巴塞罗那世界移动通信大会(以下简称MWC)——全球移动通信领域规模最大、最重要的贸易展会,全球移动通信发展风向标。 移动新技术。 。 每年的MWC上,各大厂商都会发布自己的最新设备,吸引了

    06-17

  • BOSS直聘计划下半年赴美IPO,融资5亿美元,

    BOSS直聘计划下半年赴美IPO,融资5亿美元,

    BOSS直聘计划下半年赴美IPO,融资5亿美元。

    06-17

  • 餐饮行业客服机器人:快速响应客户需求

    餐饮行业客服机器人:快速响应客户需求

    .wp-block-column h3{margin-left:0} 在餐饮行业,客户服务质量直接影响客户满意度和品牌形象。 近年来,随着技术的快速发展,客服机器人逐渐成为推动行业变革的关键因素。 其中,GaussMind客服机器人凭借出色的语音识别和智能回复功能,为餐饮行业提供了无与伦比的客服体验。

    06-17

  • 车云计算公司智协慧通获数千万元融资,由缤富资本

    车云计算公司智协慧通获数千万元融资,由缤富资本

    投资社区(ID:pedaily)领投。 8月10日消息,智协慧通近期完成数千万元A1轮融资。 本轮融资由宾富资本领投,富资本领投,瑞穗MLI基金、老股东MLI基金、世奇投资跟投,易博资本担任融资顾问。 智协慧通成立于2007年,业务定位是基于边缘计算、数据库等基础软件技术,为智能汽

    06-17

  • 分布式HTAP数据库初创公司“泽拓科技”完成A轮融资

    分布式HTAP数据库初创公司“泽拓科技”完成A轮融资

    投资社区(ID:pedaily)4月6日消息,分布式HTAP数据库初创公司“泽拓科技”近日宣布完成A轮融资。 投资者正在为复星创造财富,老股东常春藤资本持续加大投资。 本轮资金将主要用于产品研发和团队建设。 泽拓科技成立于2007年,是一家专注于于云原生分布式HTAP数据库的初创公

    06-17

  • 加密货币交易所Coinbase申请上市,估值或达千亿美元

    加密货币交易所Coinbase申请上市,估值或达千亿美元

    据美国证券交易委员会官网消息,加密货币交易所Coinbase披露S-1注册声明文件,离上市又近了一步清单。 文件显示,Coinbase计划在纳斯达克上市其A类普通股,股票代码为“COIN”,高盛、花旗集团、摩根大通等公司担任财务顾问。 据彭博社报道,该公司股票估值近1000亿美元,可

    06-17

  • 维修工单制度:制造业售后领域变革的源头

    维修工单制度:制造业售后领域变革的源头

    .wp-block-column h3{margin-left:0} 1.引言随着制造业市场竞争的加剧,售后服务已成为为企业带来竞争优势。 关键环节。 维修工单系统作为制造售后领域的重要工具,发挥着越来越重要的作用。 下面我们将通过一些具体的例子来深入探讨维修工单系统在制造售后领域的应用和意义。

    06-17

  • 德邦基金总经理陈星德辞职,一季度公司规模下跌5.62%

    德邦基金总经理陈星德辞职,一季度公司规模下跌5.62%

    今日德邦基金发布公司高级管理人员换人公告。 陈星德因个人原因辞去公司总经理职务。 辞职日期为2020年5月17日,无调动其他职务的情况。 邮政。 据悉,代理基金经理总经理是左昌。

    06-17

  • 美国品牌聚合初创公司「Heyday」获 5.55 亿美元 C 轮融资,估值超 10 亿美元

    美国品牌聚合初创公司「Heyday」获 5.55 亿美元 C 轮融资,估值超 10 亿美元

    总部位于旧金山的初创公司「Heyday」近日宣布完成 5.55 亿美元 C 轮融资,融资方为Raine Group 和 PremjiInvest 共同领投,其他参与方包括现有投资者 General Catalyst、Victory Park Capital 和 Khosla Ventures。

    06-18

  • 相约重庆,畅谈AI——创享百城·重庆人工智能助力产业创新发展论坛诚邀您报名

    相约重庆,畅谈AI——创享百城·重庆人工智能助力产业创新发展论坛诚邀您报名

    人工智能的崛起,标志着一个以数据驱动、以数据为驱动的新时代的到来基于智能的一个以技术为核心、以技术为催化剂的时代。 为推动中小企业在AI智能时代有效运用前沿技术提升自身效率和能力,阿里云打造“创享百城”主题论坛活动,旨在帮助中小企业中型企业深刻理解数据背后的

    06-18

  • 创业不易,我们与您同在!双11创业节火热进行中

    创业不易,我们与您同在!双11创业节火热进行中

    热销产品买买买!在云上创业 Go Go Go!阿里云双11创业节持续火爆,宝宝创新团队陪你云上创业。 【数百款创业服务产品低至0.40折】热门云产品,全年最低价新客户特别优惠,云服务器起价低至0.40折,从IT技术开发、网站建设、品牌营销、融资对接、工商知识产权都有适配的产品,

    06-18

  • 小鹏汽车树立2024年旗帜:3年推出30款汽车,新增员工4000人,智能驾驶投入35亿

    小鹏汽车树立2024年旗帜:3年推出30款汽车,新增员工4000人,智能驾驶投入35亿

    2月18日,龙年开工第一天,小鹏汽车CEO何小鹏写道致全体员工的一封信 内部信就像一位将军鼓励战士,言语中充满了战斗的味道。 信的开头,何小鹏首先回顾了明年,称这是“痛并快乐着”的一年。 我们在组织、规划、业务、运营、效率等方面进行了多方面的调整。 我们经历过痛苦,

    06-18