首页 > 科技未来 > 内容

Kubernetes和混合云环境中的 HPC 应用第二部分

发布于:2024-06-18 编辑:匿名 来源:网络

本文是该系列的第二篇文章。

单击此处查看第一篇文章。

作者:Daniel·Gruber、布拉克·Yenier、Wolfgang·根茨、UberCloud。

该公司成立于 2017 年,开发 HPC 容器技术和容器化工程应用程序,以方便在共享本地或按需云环境中访问和使用工程 HPC 工作负载。

在这篇文章和上一篇文章中,他们描述了过去 12 个月在 Tongue 上使用 UberCloud HPC 容器的经验。

随着云服务的兴起,首席信息官意识到在各种计算环境中运行的应用程序、中间件和基础设施需要通用的管理和操作模型。

通过为每个云提供商使用不同的专用基础设施和应用程序管理解决方案,在本地和云环境中维护不同的应用程序和中间件堆栈,在动态分配、使用和管理这些资源时会带来很多麻烦。

混合云环境中缺乏通用的管理和运营模型可能会导致: 不均匀、分散的环境,给 IT、运营和安全带来额外的复杂性。

在没有共同管理的混合环境中,创新的速度会降低。

当依赖云提供商的特定服务时,很难更改或关闭云资源。

当绑定到特定的云环境设置时,工作负载无法轻松迁移回本地环境,反之亦然。

正如上一篇文章所述,Kubernetes 已成为事实上的标准容器编排器。

所有主要公司都在随处可用的标准化 API 之上提供和构建解决方案。

Kubernetes和混合云环境中的 HPC 应用第二部分

CIO们现在正在关注Future在混合云中对HPC的适用性,因为它为每个环境提供了通用的管理和运营模型。

Kubernetes:混合云的通用管理和操作模型Kubernetes促进了在服务器群中运行的无数容器的使用和管理,是许多IT供应商和云提供商支持的混合环境的新标准平台。

现在,首席信息官可以分配一个完全配置和支持的容器编排器作为其所有应用程序工作负载的基础。

与专有基础设施解决方案不同,Kubernetes 提供可移植性、易于管理、高可用性、可集成性和监控功能。

在Kubernetes上管理资源时,CIO 不再依赖于特定的基础设施。

他们可以使用相同的应用程序堆栈为用户提供相同的功能集,无论是在本地还是在任何云中。

用户甚至不知道他们的应用程序正在Future上运行,也不知道他们正在哪个基础设施上运行:在他们自己的数据中心还是在特定的云提供商(例如谷歌、微软或亚马逊)上。

通过使用像Kubernetes这样的标准化软件堆栈来降低混合云环境的复杂性有很多优点:对一个平台所做的改进可以自动在其他平台上使用;部署和操作方面可以得到简化;安全审核更容易、更严格地实施。

Kubernetes和高性能计算Kubernetes已经是人工智能和机器学习事实上的平台,然而,当涉及到传统的高性能计算时,仍然存在一些挑战。

HPC 工作负载管理器中内置了一组功能,但Future 中尚不可用。

我们之前在第一篇文章中已经讨论过主要的区别,Kubernetes在 HPC 中的主要差距是:对分布式内存作业(即 MPI 应用程序)的原生支持,以及缺少与现有 HPC 应用程序兼容的作业队列系统。

Kubernetes在许多层都内置了高可用性。

然而,对于 HPC 作业来说,仅仅重新启动失败的容器是不够的,因为整个分布式作业本身可能已经失败。

在这种情况下,整个分布式内存作业需要自动重新调度。

这是Kubernetes无法解决的。

除了这些挑战之外,Kubernetes还给HPC带来了很多好处:例如,工程师和容器化HPC应用程序的环境始终是相同的,无论是部署在本地还是运行在基于云的环境中;从一个基础快速切换 将一种架构转换为另一种基础设施的能力使 HPC 团队能够与公司的云路线图保持一致。

基于通用 API (Kubernetes API) 在基础设施之间自由移动工作负载变得很有价值。

Kubernetes上的容器化 HPC 应用程序 在过去的五年里,数十个 HPC 应用程序已经容器化,无论是商业应用程序(例如 ANSYS、COMSOL、STAR-CCM+),还是开源软件包(例如 OpenFOAM 和 GROMACS),以及 HPC 集群调度程序(例如Univa 网格引擎和 Slurm。

得益于容器技术,它提供了持续的更新和改进,客户可以快速、无缝地更新。

此外,容器镜像允许用户随时返回到以前的应用程序版本,以便他们始终可以重现以前的结果。

同时,许多容器是通过使用基础设施和配置管理工具(如 Terraform 和 Puppet)或通过在现有门户中构建特定于云的 HPC 集成来实现的。

环境。

但随着Kubernetes的出现,容器环境变得更容易维护并且更加动态。

控制器持续驱动集群,从而将其推出,调整工作节点的大小,使用一组恒定的可抢占实例和高可用性。

因此,Kubernetes与HPC之间的主要差距已经消除。

因此,分布式内存/MPI 作业现在可以由任何提供在 HPC 容器内运行的内置 HPC 工作负载管理器集成的 Kubernetes 环境支持。

这使得传统 HPC 应用程序无需任何更改即可运行。

与此同时,基于 Ansys 和 COMSOL 的 GPU 和不支持 GPU 的应用程序已成功启动,并在内部运行高性能的支持 GPU 的 Pod。

登录桌面后,工程师可以开始提交批处理作业或分布在跨多个节点的一组 Pod 中分布的单个 MPI 应用程序。

结论 Kubernetes不仅支持基于微服务的企业应用程序,还支持自助工程HPC应用程序。

总而言之,正如本研究所示,使用 Kongfun 作为运行容器化工程应用程序的基础的主要优势是: 统一的应用程序堆栈几乎可在任何基础设施上使用;真正的混合云使用场景,满足工程工作负载的需要。

无论是在本地还是在云端运行应用程序,对于工程师来说都是透明的;通过始终分配云中最新最快的可用机器,为运行工程应用程序提供最佳性能;作为工程师自助服务、构建独立的 HPC 应用程序和计算集群并调整其大小,并且仅受每个时间段的云配额和预算的限制;强大的管理堆栈,得到众多云提供商的支持;只需按使用量付费 优化成本。

不需要闲置资源,使用前会进行分配;通过独立的专用计算集群实现高安全性;通过自配置和一次性组件,操作开销降至最低(更新只需根据命令销毁并重新创建);基于Kubernetes的工作负载更容易集成到广泛采用的持续集成和部署解决方案(例如 Tekton、Concourse 或 Jenkins 的未来版本)中。

在本研究中,基于Kubernetes的基于容器的 HPC 应用程序环境(例如,在 Google GCP 和 Amazon AWS 上)实现,并且还用作自助测试环境,可供 HPC 应用程序专家从头开始使用,而不是使用比运营商开始部署。

它还被用于 CI/CD 管道中,以自动构建测试环境,以针对现有容器解决方案运行测试,并随后关闭基础设施。

在客户环境中,IT 部门受益于使用受支持的、易于维护的、托管的Future 系统,该系统可以在几分钟内添加、调整大小和删除计算资源。

Kubernetes和混合云环境中的 HPC 应用第二部分

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 美国NS-CMIC名单生效,涉及59家中国企业,要求美资一年内撤资

    美国NS-CMIC名单生效,涉及59家中国企业,要求美资一年内撤资

    美国总统拜登更新“涉军名单”,要求美国个人和实体6月3日至8月2日撤资,2020年他们总共有60天的时间停止对NS-CMIC名单上列出的公司的新投资;与此同时,他们有一年的时间(截至 2020 年 6 月 2 日)在禁令生效之前撤资。 美国当地时间6月3日,美国总统乔拜登(JOSEPHR.拜登J

    06-08

  • 百亿母基金启动,5位GP来了

    百亿母基金启动,5位GP来了

    近日,山东烟台迎来了一批投资者。 投资界-解码LP获悉,烟台生物医药母基金启动暨运营会于近日召开。 会上,详细介绍了烟台生物医药产业、母基金组建及子基金招募等相关情况。 此次,烟台生物医药母基金吸引了深创投、盈科资本、中信医疗基金、德福资本、石药投资等五家意向

    06-17

  • 旷视科技申请科创板上市

    旷视科技申请科创板上市

    上交所今日公告《首次公开发行存托凭证并在科创板上市招股说明书(申报稿)》旷视科技股份有限公司提交的招股说明书显示,旷视科技拟发行不超过8股B类普通股以中国存托凭证(CDR)的形式向存款人提供。 标的股票每股价值 0.50 美元。 中信证券股份有限公司为本次发行的保荐人

    06-17

  • Unity第一季度营收为2.348亿美元,同比增长41%

    Unity第一季度营收为2.348亿美元,同比增长41%

    Unity近日公布了第一季度财报。 本季度Unity营收2亿美元,同比增长41%;营业亏损1亿美元,去年同期亏损1万美元。 此外,Unity第一季度毛利润同比增长30%至1.76亿美元;过去12个月里,在Unity上收入超过10万美元的客户数量较去年同期有所增加。 Unity预计今年第二季度营收将增

    06-18

  • 本魔科技完成近亿元A轮融资,松禾资本与联想创投联合领投

    本魔科技完成近亿元A轮融资,松禾资本与联想创投联合领投

    投资圈(ID:pedaily)10月14日消息,研发生产机器人动力模块的公司本墨科技获得A轮融资。 ,金额近亿元。 本轮融资由松鹤资本、君联创投联合领投,知名产业投资人、亦锋资本跟投,五源资本、奇绩创坛等老股东增投。 北拓资本为本轮独家投资方。 本魔科技自成立以来,获得了李

    06-17

  • 一点租完成超5亿元E轮融资,源码资本领投

    一点租完成超5亿元E轮融资,源码资本领投

    3月16日,国内知名办公IT基础设施服务商一点租宣布完成超5亿元E轮融资由源码资本领投,经纬中国、云时资本和主权基金跟投。 据了解,本轮资金将主要用于核心技术研发和创新、提升数字服务能力、扩大城市和地区深度覆盖、完善产品和生态建设。 同时,一点租正式宣布品牌升级为

    06-18

  • 三星发布108兆传感器,小米参与合作并将全球首发

    三星发布108兆传感器,小米参与合作并将全球首发

    据雷锋网报道,2019年8月12日,三星发布声明,正式推出108兆ISOCELL Bright HMX图像传感器。 传感器的分辨率可与高端数码单反相机相媲美;它是全球首款超过1亿像素的移动像素传感器。 ISOCELL Bright HMX 雷锋网注:上图为三星官网ISOCELL Bright HMX图片。 三星在声明中详细

    06-18

  • 北美电商物流平台UniUni完成2000万美元B2轮融资,元璟资本、复星锐正共同领投,

    北美电商物流平台UniUni完成2000万美元B2轮融资,元璟资本、复星锐正共同领投,

    据投资界(ID:pedaily)12月19日消息,近日,其为北美电商市场提供了“最终投资”。 “一英里”解决方案的新一代物流平台UniUni宣布完成1万美元B2轮融资,由元璟资本、复星锐正联合领投,B轮投资方包括Lanchi Ventures、加拿大Celtic Ventures、青博等首都。 追加后续投资。

    06-18

  • 看看乐视20亿美元收购VIZIO背后的野心

    看看乐视20亿美元收购VIZIO背后的野心

    乐视很忙。 继昨晚被央视点名“一分钱会员骗局”后,北京时间7月27日凌晨2点,乐视在美国洛杉矶宣布以20亿美元收购美国电视制造商VIZIO,被认为是“一分钱会员骗局”。 行业将成为全球电视行业历史上最大的收购计划。 此次收购将以全现金方式进行,预计交易将在6个月内完成。

    06-18

  • 阿里巴巴国际站:上半年平台交易额同比增长111%

    阿里巴巴国际站:上半年平台交易额同比增长111%

    跨境电商B2B平台阿里巴巴国际站发布最新“外贸新指数”,显示,今年上半年该平台交易额同比增长111%。 报告显示,随着疫情逐步缓解,全球经济持续复苏,拉动外需增加。 今年上半年,社会场景和短途出行相关产品回暖,建设工程逐步复工,基础建材需求爆发。 其中,建材品类,美

    06-17

  • 自动驾驶通用解决方案公司“青州智航”完成数亿元B1轮融资

    自动驾驶通用解决方案公司“青州智航”完成数亿元B1轮融资

    投资社区(ID:pedaily)12月2日消息,自动驾驶通用解决方案公司青州智航(QCraft)宣布完成数百万元B1轮融资数百万元B1轮融资。 本轮投资方包括中金资本旗下的中金汇融基金、TCL以及行业生态中领先的芯片公司。 老股东元生资本也参与了投资。 本轮融资将帮助青州智航全面整合

    06-17

  • 72传媒获数千万元Pre-IPO轮融资,持续推进美股IPO计划,

    72传媒获数千万元Pre-IPO轮融资,持续推进美股IPO计划,

    据投资界(ID:pedaily)1月29日消息,72传媒宣布已获得Pre-IPO阶段数千万元人民币融资。 本次融资将用于市场拓展、创新技术完善、内控升级等。 2019年10月22日,七十二传媒与美国纳斯达克上市公司绿专资本(纳斯达克股票代码:GRNQ)正式达成上市合规服务,正式达成上市合规

    06-18