首页 > 科技未来 > 内容

S3 对象存储:一个伟大的设计

发布于:2024-06-21 编辑:匿名 来源:网络

编者注:开始无服务器软件开发有必要知道这个故事:为什么 AWS 在 中发布了 S3 对象存储,然后又在 中发布了 AWS Lambda(无服务器)?让我们一起探讨其背后的故事,希望对您将软件项目迁移到无服务器平台有所启发。

0 #CloudMadness 选民不会错。

Amazon S3 是有史以来最伟大的云服务。

真的,你永远不知道这样的人气竞赛会如何进行。

不过,在这种情况下,我认为选民做出了正确的决定。

而且我有一个理由! S3是OG云服务。

根据你如何定义它,“简单存储服务/简单存储服务”可能不是AWS的第一个产品——SQS实际上是最先推出的,但在一段时间后才被使用。

在生产环境中。

无论如何,仅靠消息队列管理产品并不能说服大多数企业考虑公共云。

分布式存储解决方案,可以根据您的数据弹性扩展,无需任何额外的运维投资。

正如 AWS 的 Mike Deck 在投票激烈时在 Twitter 上所说:“我认为您没有意识到,在 00 年代末,拥有几乎无限的、高度耐用的移动存储并不需要您还记得您必须每 7 天循环一次驱动器吗?或者将一卡车数据备份磁带运送到异地灾难恢复位置吗?但 S3 已经不仅仅是一个数据存储库,它为包括 Netflix、维基百科和纽约时报在内的数千个网站提供内容。

事实上,S3 已经“标准化”了。

S3 API,以至于 Google 的竞争产品也开箱即用地支持 S3 API,这就是为什么当 S3 在某个地区出现罕见的可用性中断时,似乎有一半的互联网服务出现故障,很难想象其他的情况。

云服务——也许CDN除外,例如密切相关的CloudFront——具有这样的影响。

此时,S3 是基本的互联网基础设施,并且它将继续长期存在,因为 S3 是一个工程奇迹。

分布式存储仍然是计算机科学中最困难的问题之一,尤其是在大规模方面。

历史上曾出现过很多存储管理服务,但由于无法维护客户数据的完整性而被淘汰,而数据是客户最宝贵的资源。

考虑到这一点,S3 的耐用性保证 - 11 9 位小数,你在开玩笑吗? ——代表了令人惊叹的工程壮举。

从这个角度来看,你个人更有可能被流星击中,而不是失去一百万个 S3 物体中的一个。

看看 S3 副总裁 Mai-Lan Tomsen Bukovec 的精彩 re:Invent 主题演讲,不要被数字吓到:TB 级的数据,数万亿个对象,不仅仅是一个微服务,还会有这个数据分布在数量未知的物理设施中。

她谈论的是规范的“正确性验证算法”、松散耦合系统之间的校验和,以及硬盘驱动器何时出现故障的复杂精算预测模型。

AWS 具有自动“持久性审核”功能,可重复捕获 S3 数据的每个字节,以验证您存储的数据在检索时是否正确。

他们根据近 15 年以难以想象的规模运营 S3 的经验不断更新这些工具。

所有这一切都是为了七年前我可以通过在命令行中输入“s3sync”来上传随机源代码文件。

说实话,当时我觉得有点不值钱。

当然,多年来 S3 添加了大量功能,其中一些功能比其他功能更专业(S3 接入点,有人知道它们是什么吗?),但核心理念保持不变:您可以存储任意数量的内容你想要多少个对象,想保存多久就保存多久,而且它们永远不会崩溃。

驱动器故障,数据中心离线,但S3仍然存在。

这就是为什么我们开发人员认为它是理所当然的,你可以围绕它构建整个架构:就像太阳升起一样,S3 会在早上出现,除非发生行星灭绝事件。

这就是它真实的、无可置疑的伟大之处。

没有 S3,就无法拼出 s3rverless 当然,当我们大多数人听到“serverless”这个词时,我们的大脑就会跳到另一个服务——AWS Lambda,最初的 FaaS(函数即服务/Functions as a Service)迎来了一代无状态应用程序以及 HackerNews 上讨论的焦点。

(Lambda 在#CloudMadness 民意调查中紧随其后位居第二并非巧合)。

然而,多年来一直在 iRobot 构建无服务器应用程序并在民意调查中大力倡导 S3 的 Ben Kehoe 告诉我,“S3 是无服务器云计算的缩影”,并补充道,“它解决了每个人都遇到的问题。

这是一个非常难以解决的问题,它有一个(相对)简单的 API,可以扩展到您的互联网服务可以生成的任何存储访问流量,但您只需支付标准费率的存储成本。

而且,它不断地执行。

无需用户采取任何操作即可得到改进。

”Lambda 的发明者 Tim Allen Wagner 表示,Lambda“实际上是作为 S3 的一个分支开始的,而不是 EC2。

因此,S3 给世界带来了另一项革命性的东西!” 没错:整个无服务器革命的起点 它是作为一项为 S3 事件创建触发器的服务而启动的。

瓦格纳记得他职业生涯中“最可怕的时刻”之一就是集成 Lambda S3:“在那些日子里,这就像用消防水龙带指向迪克西杯一样。

幸运的是,S3 拥有一个令人惊叹的架构和团队,Lambda 已经成长为可以大规模使用的非常大的“鞋子”。

“虽然 S3 可能是有史以来最伟大的云服务,”Kehoe 补充道,“Lambda 也值得赞扬,因为它成功地将云计算用户的关注点从‘在我的服务器中,这部分由其他人管理’。

云计算服务很有用。

” ”到“哇,我可以用这些服务做任何事情。

S3 对象存储:一个伟大的设计

”这是托管计算资源(云计算)的一个进化步骤,但它完全改变了开发人员的思考方式“这才是真正的底线,不是吗? S3 与其他基础 AWS 服务(例如 EC2 和 Elastic Load Balancer)一起建立了构建模块,在过去十年中实现了更高级别产品创新的寒武纪爆发。

虽然 S3 可能不再是闪亮的新事物,但值得回顾并欣赏 AWS 多年来为我们提供的存储优化服务,它们像引擎盖下的引擎一样默默工作,但这并不简单。

毕竟,从云端看世界就是站在巨人的肩膀上。

S3是一个巨人。

(作者 Forrest Brazeal 是 AWS 无服务器产品布道者和企业架构师,曾领导云计算资源采购组织从初创公司到财富 50 强公司。

S3 对象存储:一个伟大的设计

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • LP说要签名打赌,我一晚上都睡不着

    LP说要签名打赌,我一晚上都睡不着

    你可能不知道,这样的场景正在VC/PE圈子里发生。 一年来,我们密集走访了一圈投资机构,一个话题开始被频繁提及——LP开始尝试与GP签署对赌协议。 这意味着,当GP业绩不如预期时,LP要求其拿出底线,退回投资。 过去,投资者和项目方之间经常出现赌博行为。 小米、巨头等互联

    06-18

  • 张燕冬对话陈章良:靶向药物将是未来五到十年的热门话题

    张燕冬对话陈章良:靶向药物将是未来五到十年的热门话题

    12月17日,在三亚市人民政府支持、《财经》协办的“三亚财经国际”上、财经网、《财经智库》论坛》、《财经》执行主编、《财经智库》总裁张燕冬对话著名科学家陈章良。 《财经》杂志执行主编、《财经智库》总裁张燕冬对话著名科学家陈章良陈章良表示,与传统的化学药物相比,

    06-18

  • 存款资金被占用、利益被转移?珠海冠宇回应科创板首轮IPO问询

    存款资金被占用、利益被转移?珠海冠宇回应科创板首轮IPO问询

    珠海冠宇电池股份有限公司(以下简称:珠海冠宇)回应科创板首轮问询2月2日董事会IPO。 首轮问询共关注珠海冠宇的基本信息、业务与技术、公司治理与独立性、财务会计与管理层的讨论与分析等五个方面。 上海证券交易所涉及对赌协议、资金拆借、关联交易等48个问题。

    06-18

  • 音乐教育领域最大一笔融资诞生, VIP陪练获腾讯、兰信亚洲领投数亿元B轮投资

    音乐教育领域最大一笔融资诞生, VIP陪练获腾讯、兰信亚洲领投数亿元B轮投资

    据投资界1月8日消息,在线音乐教育平台VIP陪练宣布于近日完成B轮融资。 以知名企业腾讯、蓝信亚洲领投,其他投资方还有蓝驰创投、金沙江创投、长石资本等。 巨头全部参与了投资。 本轮融资金额达数亿元人民币。   今年以来,他开始尝试互联网+音乐教育模式。 VIP陪练年底获

    06-17

  • 为推动大众创业、万众创新深入发展,“新时代科技大众创业、高质量发展论坛”在全国大众创业万众创新活动周期间举办

    为推动大众创业、万众创新深入发展,“新时代科技大众创业、高质量发展论坛”在全国大众创业万众创新活动周期间举办

    10月19日,全国大众创业万众创新周、科技部火炬高技术产业新时代科技大众创业高质量发展论坛,由发展中心、河南省科技厅主办,由郑州市金水区人民政府主办、创头条主办,在河南省郑州市隆重举行。 科技部党组成员副部长邵新宇,河南省人民政府副省长霍金花,郑州市委常委、党

    06-18

  • 西门子收购Insight EDA,拓展Calibre可靠性验证系列

    西门子收购Insight EDA,拓展Calibre可靠性验证系列

    此次收购可以帮助客户在集成电路(IC)设计过程中更轻松地进行针对特定设计的可靠性验证和分析。 西门子数字工业软件最近宣布完成对 EDA 公司 Insight Acquisition 的收购,该公司为全球集成电路 (IC) 设计团队提供突破性的电路可靠性解决方案。 Insight EDA 成立于 ,致力于

    06-06

  • 《西湖区产业基金管理办法》2.0版正式发布

    《西湖区产业基金管理办法》2.0版正式发布

    近日,《西湖区产业基金管理办法》2.0版(以下简称《管理办法》)正式发布,进一步优化和完善原有政府投资基金运营管理机制支持西湖区重点产业“助力”创业企业,培育上市企业和拟上市梯队企业。 《管理办法》共八章三十六条,包括总则、组织架构与运作模式、投资原则与要求

    06-18

  • ASML将在新加坡扩建新生产线

    ASML将在新加坡扩建新生产线

    光刻机巨头ASML在新加坡工厂开业仪式上宣布,将在该工厂建设第二个制造车间,预计年初投入生产年。 扩建后的工厂将使该公司在新加坡的产能增加两倍,全球产能增加一倍。 ASML是全球领先的科技公司之一,也是全球半导体价值链的主要参与者。 这里设计的技术和机器有助于在新加

    06-08

  • 智慧在粤港澳!汇聚数字原生创新力量,共商云前路

    智慧在粤港澳!汇聚数字原生创新力量,共商云前路

    阿里云加速器带来数字原生创业时光路演,六家加速器企业创始人将带来时光故事分享,涵盖虚实融合、智能网联、自动驾驶、智能网联、智能制造、企业服务赛道。 阿里云智能分发生态系统及中小企业事业部总经理潘立维、阿里云智能云原生应用平台王牌(舒通)、存储团队Alex、达摩

    06-18

  • 「富树科技」已累计获得C轮、B轮数亿元融资

    「富树科技」已累计获得C轮、B轮数亿元融资

    「富树科技」今日正式宣布完成C轮、B轮融资。 C轮投资方包括中国互联网投资基金、同创伟业,B轮融资亚信证券、晨兴资本等,两轮融资累计金额达数亿元人民币。 本轮融资后,浮数科技将继续投入技术研发和产品打磨,加强市场拓展,加速隐私计算在商业层面的大规模应用,构建互联

    06-18

  • 珠海炬力:公司产品包括不同系列的低功耗系统级芯片

    珠海炬力:公司产品包括不同系列的低功耗系统级芯片

    每日经济新闻 每条AI新闻,都有投资者在投资者互动平台上问:您好。 现在各地学校因为疫情只能上网。 在线教学需要使用该公司的产品吗?珠海炬力(49.SH)4月13日在投资者互动平台表示,公司产品包括不同系列的低功耗系统级芯片,主要应用于无线音频、智能穿戴及语音互动智能

    06-06

  • 硬核防窃听! Mac独有的功能来到iPad:业界最严格的保护机制,基于T2芯片

    硬核防窃听! Mac独有的功能来到iPad:业界最严格的保护机制,基于T2芯片

    苹果在保护用户个人隐私方面真是不遗余力。 这种不遗余力也体现在苹果最新的设备上。 不久前发布的MacBook Air搭载了苹果自主研发的T2安全芯片。 作为当前Mac设备的重要组成部分和独特的产品标志,T2安全芯片的核心功能之一就是实现麦克风的硬件屏蔽。 (硬件断开)。 现在,

    06-18